A
можно уточнить кто как делает динамическую аллокацию/деаллокацию ресурсов в спарке на кубике?
Size: a a a
2021 December 13
A
интересует в контексте интерактивных сессий, так как в них чаще происходит изменение профиля нагрузки
VV
Т.е. а это работает и в клиентском режиме, когда драйвер находится не в кластере, а в юпитерхабе или оркестраторе? (для простоты написания кода, чтобы не паковать его в джобы каждый раз)
SI
SI
В этом случае драйвер запускается в клиентском режиме, но образ для экзекьютеров можно задать при создании спарк-сессии
SI
VV
Спасибо, почитаю. А с разворачиваем в кубере не было каких-то багов или подводных камней?
SI
конечно же были))
SI
мой начальник по верхам написал про кубер в этой статье
https://medium.com/@vladimir.prus/kubernetes-for-data-engineering-feba247f7585
https://medium.com/@vladimir.prus/kubernetes-for-data-engineering-feba247f7585
A
и второй вопрос: кто-то уже скрестил зепелин/jupyter со спарком в кубике для интерактивных scala сессий? (для питона всё просто с pyspark)
ЕГ
Надо почаще повторять последнюю фразу😆
A
ну пайспарк то понятно хоть как скрещивать
A
там можно прямо из питон кода поднять спарк контекст в обычном ipython kernel
A
а вот для скала только если через toree какой извращаться или патчить livy
k
чем вызов pyspark отличается от вызова spark-shell?
SI
у нас работает jupyter + almond kernel (Scala) + в нем Spark, но этим никто не пользуется, используем
1. Zeppelin + Spark
2. Jupyter + PySpark
1. Zeppelin + Spark
2. Jupyter + PySpark
A
спасибо
almond этот тот же toree яйца в профиль =)
больше интересно насколько оно живо
а вот что зеппелин уже напрямую интеграцию со спарком добавил это интересно, так как многие его через livy со спарком скрещивают
almond этот тот же toree яйца в профиль =)
больше интересно насколько оно живо
а вот что зеппелин уже напрямую интеграцию со спарком добавил это интересно, так как многие его через livy со спарком скрещивают
SI
ИМХО все что не jupyter в плане exploritary анализа данных спарком мертво
ПФ
Так вроде же испокон веков? Я на него первый раз смотрел три года назад и там уже и лайви был, и спарк, и ещё наверняка что-то, чгео я не знаю