Size: a a a

2021 September 01

ПФ

Паша Финкельштейн... in Moscow Spark
Да вот говорили мне что всегда
источник

ЕГ

Евгений Глотов... in Moscow Spark
В идеале в конце запроса собирается список нужных колонок, прикидывается до самого верха, на каждой итерации добавляются требуемые для предыдущих стадий колонки, вот этот список приходит на чтение
источник

ЕГ

Евгений Глотов... in Moscow Spark
Такое поведение регулярно наблюдаю при построении агрегатов на орке/паркете
источник

ЕГ

Евгений Глотов... in Moscow Spark
По сниженному объёму чтения
источник

ПФ

Паша Финкельштейн... in Moscow Spark
В это вот где описано?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
И почему по дороге не отсекаются колонки, которые больше не нужны?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Как, отсекаются
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я про то, что запрос не сверху вниз идёт, снизу вверх
источник

ЕГ

Евгений Глотов... in Moscow Spark
Вычисление нужных колонок
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Так, вот простой пример

Есть колонки a,b
Я зову with column c = a + b
После этого никогда не обращаюсь к а и б. Правда ли они выкинутся?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
По идее должны выкинуться после визколумна
источник

ЕГ

Евгений Глотов... in Moscow Spark
А что значит не требуются?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну мы к ним больше никогда не обращаемся
источник

ЕГ

Евгений Глотов... in Moscow Spark
Что ниже, помимо селекта, может быть?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Допустим мы делаем save
источник

ЕГ

Евгений Глотов... in Moscow Spark
И эти колонки становятся нужны в результате
источник

ЕГ

Евгений Глотов... in Moscow Spark
Так как мы их не выкидывали
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Не, там может джойн по c быть, например
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Или на 100 операций ниже может быть select c
источник

ЕГ

Евгений Глотов... in Moscow Spark
Все колонки строятся от экшена
источник