ЕГ
1 гиг паркета для бродкаста это прям капец уже
Size: a a a
2021 October 13
ЕГ
Придётся память и на драйвере, и на экзекуторах задирать
A
окей, понял. спасибо за ответы
OI
всё равно больше 8 гигов в бродкаст не пойдёт
K
Так в скале как бы тоже помечают
K
И все мигрируется
A
я гиг просто для примера привел. хотел понять можно ли как-то на глаз прикидывать размер паркета и размер дса в памяти
K
Нужно ещё учитывать , что пример скалы 3 и скалы 2.13 , это разные языки , но они и в ту и другую сторону относительно совместимы
OI
на глаз не получится. Там от данных тоже зависит. Какие-то данные лучше жмутся, какие-то хуже. Можно экспериментально смотреть: прочитать в память, например, и посмотреть, сколько занялось (там с накладными расходами будет, конечно), но хоть как-то
A
A
вы имеете в виду, что-то типа такого?
import org.apache.spark.util.SizeEstimator
println(SizeEstimator.estimate(distFile))
A
перекомпилируется
K
Не, без перекомпиляции
K
Ну нашли багу , что поделать
OI
ну это эстимейт. Прогноз, тоже не особо точно) но можно с него начать
K
Там же была табличка у клаудеры , в которой были запретные версии джавы 8, причем они были ни первые, ни последние
ЕГ
А, блин, там захардкожен лимит
OI
справедливости ради, он довольно большой и покрывает почти все случаи, когда действительно нужен бродкаст)
A
кстати, откуда цифра 8-10? личный опыт?