Не указано, но я знаю, что в маленькой таблице у меня только одна дата. По ней и джойню, но джоб валится из-за того, что вторая таблица огромна и спарк её всю читает. Точнее так: я эти таблицы джойню как датафреймы
Собрать мелкую в оллекцию, проверить что дата одна и определить ее. Проселектить явно одну партициб из большой и присобачить через withcolumn данные + explode