SI
по идее все должно ташиться в плане, так как df.checkpoint() будет обязан все сохранить, разве нет?
Size: a a a
2021 September 01
ПФ
Ну кажется сохранять в чекпоинте то, к чему никто не обратится необходимости нет
SI
в смысле нет? Ты можешь к этом обраться после чекпоинта
SI
чекпоинт не может менять набор колонок в датафрейме, следовательно он будет обязан их сохранить
ПФ
Так, а где вызывается чекпоинт?
SI
Это прямо Dataframe API
ПФ
Это я знаю
ПФ
Если вызвали руками понятно что всё сохранится
ПФ
Так же как и на cache и на write
ПФ
Допустим что руками не вызывали
ПФ
Тогда весь набор колонок кажется не нужен
SI
а, тебя интересует, посылает ли он физически в проводе, если терминирующая операция не нуждается в колонках?
ПФ
ПФ
Ну и там таскает ли по памяти соответственно
2021 September 02
KR
Подскажите, пожалуйста, от чего зависит количество тасков?
Во время шафлинга у меня 32т тасков, как их уменьшить?
Во время шафлинга у меня 32т тасков, как их уменьшить?
SI
Погугли опцию `
spark.sql.shuffle.partitions`SI
У тебя она скорее всего выставлена в 32к
KR
Я так понял, что это не шафлинг, а количество блоков
KR
Это я выставлял уже, не влияет
SI
это количество партиций, которое получится после шаффла — на каждую партицию будет создан таск