GP
мое предположение что да ложится на определённом жкзекуторе/ ах
Size: a a a
2019 December 20
AZ
мб при рестарте на какой-то плохой ноде, но это надо постараться сделать такой сэтап
GP
Ещё может версия быть разная; и он фкйлится подгрузить - как вариант ошибки
GP
опять же из-за неконсистентного класспаса
GP
Но там может быть другое чето будет
RI
Спасибо, я проверю версию про экзекьюторы
С
А кто и как занимается отладкой pyspark кода?
В какой нибудь idle?
Спарк-сессию поднимаете?
В какой нибудь idle?
Спарк-сессию поднимаете?
С
Или все локально?
С
Юпитерские тетрадки?
АЖ
pycharm + локальный спарк + сэндбокс/тестовые деплои на кластер --> боевые деплои
GP
Сюткин
Или все локально?
локально у нас петонисты; на кластере это отельная уже история
АЖ
ща вот продираюсь сквозь openshift, там вообще раздолье будет с тестированием написанного говнокода
GP
ща вот продираюсь сквозь openshift, там вообще раздолье будет с тестированием написанного говнокода
Как так?
АЖ
Как так?
ну, там с некоторыми оговорками, но можно задеплоить в тестовый кластер шифт и минио свое говно, и пущай оно падает, подтекает и ломает данные
GP
ну, там с некоторыми оговорками, но можно задеплоить в тестовый кластер шифт и минио свое говно, и пущай оно падает, подтекает и ломает данные
а мне вот для таких вещей очень кажется подходит кубер
GP
Залеплоил а версия спарка будет та которую ты сказал
GP
хоть сам собрал
АЖ
а мне вот для таких вещей очень кажется подходит кубер
openshift он и есть
АЖ
тока без рута
GP