Size: a a a

2021 April 29

t

tenKe in Data Engineers
что интересно, sc.killExecutor() отрабатывает всегда
источник

Р

Ринат in Data Engineers
Оно просто варнингами точнее сыплет
источник

GP

Grigory Pomadchin in Data Engineers
ясно, я кажется понял; ты не в одной сети с кластером?
источник

Р

Ринат in Data Engineers
Нет
источник

GP

Grigory Pomadchin in Data Engineers
ну это всегда пожалуйста
источник

GP

Grigory Pomadchin in Data Engineers
слушай я не помню, там были какието профили согласно которым он риквестит
источник

GP

Grigory Pomadchin in Data Engineers
может туда посмотри?
источник

GP

Grigory Pomadchin in Data Engineers
они я помню хотели разные профили для риквеста ехекуторов реализовать но чет не знаю делали нет
источник

t

tenKe in Data Engineers
хмм ок спасибо, покопаю
источник

Р

Ринат in Data Engineers
Кластер на удаленном сервере
источник

GP

Grigory Pomadchin in Data Engineers
они не делали потмоу что сложно и не нужно (и апи чейндж?)
но мож надо посмотреть как дефолтный работает и вдруг там мягкие запросы ехекуторов
источник

GP

Grigory Pomadchin in Data Engineers
он тип такой слушай пожалуйста дай если мне нужно и ты думаешь что мне нужно ехекуторов
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
если ты не в одной сетке, то скорее всего кластер тебя не видит; сабмить таски на мастер через спарк сабмит и все заработает
источник

t

tenKe in Data Engineers
источник

t

tenKe in Data Engineers
там самый прикол это код этой функции - там просто в переменную сохраняется новое количество воркеров
источник

t

tenKe in Data Engineers
а дальше походу нечто снаружи (хз где вообще) идет в этот объект и смотрит, сколько там спарк воркеров себе хочет
источник

ИК

Иван Калининский... in Data Engineers
not bad ))
источник

GP

Grigory Pomadchin in Data Engineers
жоско
источник

Р

Ринат in Data Engineers
Что значит сабмитить?
источник