Size: a a a

2021 September 01

ПФ

Паша Финкельштейн... in Moscow Spark
Мне бы описание/спеку найти
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Или хотя бы доку
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Или может это не специфицировано, тоже ок, значит я сам придумал. Но тогда наверное есть/нет кода который это имплементирует
источник

ЕГ

Евгений Глотов... in Moscow Spark
Это в коде надо разбираться, какая может быть спека, если там генерация хрен знает что может сделать на выходе)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну вот может быть. Например могут сказать "всегда жмём до самого верха" или наоборот "нет цели жать до самого верха, живите с этим"
источник

ЕГ

Евгений Глотов... in Moscow Spark
Вот ща глянул, у меня как раз такой кейс, withColumn, перед джойном сидит проджект со списком всех колонок
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ага
источник

ЕГ

Евгений Глотов... in Moscow Spark
Но эти же колонки и внизу нужны
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А если убрать то тащится видимо, да?
источник

ЕГ

Евгений Глотов... in Moscow Spark
И в самом начале тоже ридсхема все колонки перечислены
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну это тупо хорошая практика
источник

ПФ

Паша Финкельштейн... in Moscow Spark
С этим всё понятно
источник

ЕГ

Евгений Глотов... in Moscow Spark
Это надо дроп где-то внизу сделать, чтоб проверить, пробрасывается ли он выше джойна
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А вот проджект перед джойном не так очевиден
источник

ЕГ

Евгений Глотов... in Moscow Spark
Не, я имею в виду он сам вычислил их по запросу
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну тогда тесткейс такой - делаем джойн и дроп колонки, которая не использовалась до джойна и в самом джойне
источник

ЕГ

Евгений Глотов... in Moscow Spark
Если она не будет читаться из исходного дф, значит прокидывается наверх
источник

ЕГ

Евгений Глотов... in Moscow Spark
Если будет, и выкинется только после джойна, значит мы тащим лишнее
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А это вот как проверить? Мы же если почитаем её - то уже всё, значит её точно не выкинут
источник

ЕГ

Евгений Глотов... in Moscow Spark
источник