Size: a a a

2021 November 21

GP

Grigory Pomadchin in Moscow Spark
но типо хоть скок пока место есть
источник

A

Alex in Moscow Spark
Ну у них возможно отдельно ещё написана часть на запуск этих джупайтеров и остановок (аналог джупайтер хаба, там тоже не все гладко)
источник

GP

Grigory Pomadchin in Moscow Spark
да
источник

GP

Grigory Pomadchin in Moscow Spark
Ну и проблем со спарком в кубере нет))
источник

GP

Grigory Pomadchin in Moscow Spark
Главное что б воркеры драйвер видели и все
источник

A

Alex in Moscow Spark
Гейтвей ведь в джупайтере и сделали чтобы можно было сказать "хочу кернел в кубике, хадупе, локально, по ссш в жопе мира" и ты получаешь сессию на него

Работай с сессией (в джупайтер это вебсокет) и тебя не волнует где кернел крутится

У полиноута был только запуск локального процесса

Потому варианты были "запускать полинот на пользователя "
источник

GP

Grigory Pomadchin in Moscow Spark
ну я лишь про то что любой ноут со спарком в кубере запустить можно и он нормально будет скедулить воркеры
источник

A

Alex in Moscow Spark
А не спарк?
источник

GP

Grigory Pomadchin in Moscow Spark
)) поэтому не понял что значит работать с кубером
источник

GP

Grigory Pomadchin in Moscow Spark
Можно и не спарк
источник

A

Alex in Moscow Spark
Но в том же поде будут?
источник

GP

Grigory Pomadchin in Moscow Spark
кто будет в том же поде
источник

A

Alex in Moscow Spark
У тебя запущен полиноут
У тебя запущена гдето кернел который выполняет твой код

Как они взаимодействуют?
источник

A

Alex in Moscow Spark
Вот я говорю в ui "хочу питон кернел", что дальше происходит по шагам
источник

GP

Grigory Pomadchin in Moscow Spark
так зачем ало мы ж тут выяснили что у полиноута нет ремоут кернелов
источник

GP

Grigory Pomadchin in Moscow Spark
яж о том чтоб работать с кубом с ноута те не нужен ремоут кернел ваще
источник

GP

Grigory Pomadchin in Moscow Spark
ну мы про спарк говрим например
источник

GP

Grigory Pomadchin in Moscow Spark
вот ноут у тебя с петоно скало кернелом
источник

GP

Grigory Pomadchin in Moscow Spark
стартанул ты его
источник

GP

Grigory Pomadchin in Moscow Spark
создал сессию ткнул на кубапи
источник