C
kbsmhz vsrok has been banned! Reason: CAS ban.
Size: a a a
2021 June 19
МК
да, только все равно там "немного" логов прилетит...😊
МК
про jupyter не понял про платность/бесплатность - уже долго использую (и настоятельно рекомендую) и ни разу про платность не задумывался, где посмотреть детали?
МК
под виндой настоятельно рекомендую развернуть WSL и поставить в него тот линукс, который нужно, если интересно - даже ролик записал на эту тему (ибо на мой взгляд - качественное решение, работает, много проблем снимает)
SS
А подскажите, тут речь о том чтобы запустить локально spark? И если нет, то можно поподробней пожалуйста как из джупитера запустить spark задачу на кластере?
ПФ
Да, я говорил про локальный Спарк, конечно
ПФ
Я вообще больше по цеппелину чем про Юпитеру потому что мы интегрируемся с цеппелином и на всякое вокруг у меня сил не хватает
SS
Ок, спасибо
SS
Я знаю, что можно использовать связку sparkmagic + Livy, но беда в том, что Livy похоже мёртв. Вот понадеялся на то, что есть ещё какой способ )
NN
На заранее собранном кластере хадупа - если клиент мод, то запускаете на эдж ноде ноутбучек, прокидываете переменные окружения, стартуете спарк сессию, и работаете. Драйвер поднимется на эдж ноде.
ME
Цеппелин норм, дебажу на нём в EMR)
SS
Да, это идея, спасибо!
Но у нас данные в s3 и хотим пускать спарк джобы на k8s (eks + fargate). Так потому что сейчас для spark задач не предвидется постоянных нагрузок, пришел раз в неделю, запустил, посчитал, ушел думать. И emr из этих соображений кажется дорогим.
Для notebook разворачиваем Zeppelin.
Но у нас данные в s3 и хотим пускать спарк джобы на k8s (eks + fargate). Так потому что сейчас для spark задач не предвидется постоянных нагрузок, пришел раз в неделю, запустил, посчитал, ушел думать. И emr из этих соображений кажется дорогим.
Для notebook разворачиваем Zeppelin.
МК
jupyter тут не очень причем - если pyspark настроен нормально (т.е. может запускать приложения в локальном и кластерном режиме), то ровно то же самое будет делать и jupyter: меняем параметр master()-а, да и все
МК
цеппелин все же тяжеловеснее юпитера, и "пушистее" - в нем больше скролить приходится, клавиатруных шорткатов в юпитере больше. Если есть возможность выбора - я выбираю юпитер...
VS
vscode уже из коробки умеет
VS
Вот только на удаленный сервер пока не раскурил, как подключить нормально
2021 June 20
МК
Еще 5 копеек про юпитер - не надо забывать, что кроме просто исполнения кода, это еще и файловый менеджер для удаленного хоста - полная работа с файловой системой включая редактирование файлов плюс терминал. Этого в цеппелине ох как не хватает...
S
%sh в помощь
если что-то более мощное, чем консоль линукса
если что-то более мощное, чем консоль линукса
МК
ну bash интерпретатор и в цеппелине есть, но... он не интерактивен (в отличие от юпитера)
МК
и редактировать (файлы) в цеппелине тоже не получается (или я не осилил)