k
подозреваю, что по времени то же самое выйдет 🤷♂
Size: a a a
2022 February 14
SI
Хз, мне казалось что пооптимизировать память бы получилось
SI
Учитывая что JVM память не отдает из хипа
SI
Это бесспорно, тут просто гипотеза что можно память поэкономить в тестах
k
ну, в скала с тредами бы могло сработать. а с процессами этими.. питон интерпретатор больше памяти сожрет, может. в итоге выгоды по памяти тоже туманны
ЕГ
Вообще у меня на тредпуле таски параллельно сабмитятся кстати
ЕГ
В одну сессию
ЕГ
Само закидывание джобов может и в один поток работает, но не блокирует закидывание остальных джобов
ЕГ
На скале зашквара с этим гораздо больше словил
ЕГ
Так что попробуй просто с ThreadPoolExecutor
D
а ливи в одной спарк сессии все пускает? spark-submit там один на все?
SI
В ливи может быть несколько сессий, просто сессию можно использовать из двух разных мест
SI
Сабмитятся джобы там через апишку, насколько я помню
2022 February 15
PL
всем привет, а такой вот вопрос, можно ли в Спарке приземлять данные не на диски, а в памяти?
PK
Что имеется в виду под “приземлением”?
PL
запуск расчета и сохранение результатов
PL
persist не предлагать)
ЕГ
Ramdisk?
PL
или так, на каждой ноде?
ЕГ
Ну ток придётся хдфс на рамдиски катать, вот это вряд ли возможно