Или узер дефайнед

Не должно: данные в S3/GS, когда у тебя просто EMR/Dataproc - это те же самые EC2 сервера, разве что без Docker

Всем привет. Возможно глупый вопрос, но все же. Предположим, что есть кластер. Я написал новый алгоритм для spark.ml, который хранится у меня локально. Далее я написал программу в apache toree, в которой использую свой новый алгоритм. Вопрос - будет ли работа такой программы работать распределено? Нужно ли мне заранее добавить этот файлик на каждую ноду?

И вообще, как обычно работают с кастомизацией спарка в кластере?

PS: если есть ссылки/статьи, то с радостью изучу

Зависимости нужно либо раскидать по кластеру, либо каждый раз при деплое  таскать с джобой.
Но это сложно назвать кастомизацией спарка, либо я не понял вопрос

господа гуру, подскажите, почему taskEnd.taskInfo.accumulables ничего не пишет про запись в файлы, хотя write вызывается? Версия старая 2.2

Я так парсил хбейсовые байт арреи, которые феникс по своему закодировал (не через Bytes.toBytes), а своими кодировщиками, типа таймстампы, феникс массивы и всё такое. Потом пришёл специально обученный архитектор, всё подмел и напихал вызовы методов феникс анкодировщика.

Тогда так поставлю вопрос: вот был бы у вас отдельно mllib(который сейчас есть в спарке, но представим, что он идёт полностью отдельно). Его бы вы на каждую ноду раскидывали ?

А как по-другому распределенное обучение замутить?

Я поэтому и спрашиваю. Вдруг есть какой-то способ из драйвера екзекюторам весь mllib передавать.

Ну, или с джобой, или на каждой ноде накатывать, вроде все.

Если уже установлено на каждой ноде, то будет быстрее? Или без разницы?

Ну если либа у Вас не тонны весит, то вообще не заметите.

Отлично, спасибо большое за ответ

Ещё можно дополнительные пути с классами в hdfs положить, чтобы не заморачиваться.
spark.executor.extraClassPath
Да и вобще все нужные jars тоже туда же, правда конфликты бывают

Котички, а вакансии можно тут постить? Я датаинженегра ищу.

Эт я уже, да. Спасибо 🙂

Подскажите пожалуйста, у меня 1 таска крутится бесконечно.
Джоинов нет.
Читаю партицированную папку по дате и хочу записать партицированную папку.
Делаю repartition("dt")
Thread 95 spilling sort data of 8.3 GB to disk

А сколько distinct dt в датафрейме?

порядка 700-1000 каждый день с начала 2018