ПФ
Ну вот на джойне у нас правда же будут a и b летать, нет?
Size: a a a
2021 September 01
ЕГ
Блин, это зависит от того, нужны они ниже или нет
ПФ
ЕГ
Spark.read(a).write.save(b)
ЕГ
Ни одной колонки не написал, но все колонки нужны
ПФ
ЕГ
Или
ЕГ
Spark.read(a).count()
ЕГ
Будет прочитано 0 колонок
ПФ
То есть если я где-то в итоге сделаю select(c). write то всюду выкинутся a и b, так?
ПФ
Всюду выше
ЕГ
По идее этот селект холстейдж кодегеном выше переедет
ПФ
Не в случае если там были джойны
ПФ
Или агрегации
ЕГ
Вот если колонки читались, а потом стали не нужны, тут конкретно хз, в какой момент они выкинутся
ЕГ
Можно проверить по размеру шафла при джойне
ЕГ
Сделать селект перед и после
ПФ
Вот. Кто-то мне находил что прямо в последний момент, уже на экшне
ЕГ
Если при джойне будет разница шафла, значит не удаляет
ЕГ
Если не будет, значит удаляет