V
подобная ошибка была при запуске spark2 из oozie, была связана с определением версии spark и параметром spark.yarn.jars
А как вы сейчас запускаете spark2-код из Oozie?
Size: a a a
2019 March 11
AK
В текущих версиях hdp (по идее с 3.0) все хорошо. А на старых пришлось брать не штатный oozie... Ну либо жить с local Mode, но это хреновая жизнь)
V
В текущих версиях hdp (по идее с 3.0) все хорошо. А на старых пришлось брать не штатный oozie... Ну либо жить с local Mode, но это хреновая жизнь)
То-есть смотреть в сторону SharedLib spark2 для spark action бесполезно?
AK
Там пришлось не только его вроде патчить, но и часть сервера. Давно это уже было)
2019 March 12
PK
Всем привет! Я, если честно, был удивлен как много (почти 50% ответивших) используют Spark ML в проде. Теперь мне стало еще интересней и я подготовил небольшой опросик для уточнения деталей. Очень прошу тех, кто ответил, что используют Spark ML в проде, пройти его. Это всего 5 минут https://goo.gl/forms/6w7VD0KhOgH5qOWC2
N
А для чего мл в прод используете ? Обучать модели или уже prefict делать
PK
Nikolay
А для чего мл в прод используете ? Обучать модели или уже prefict делать
Мы предиктим
AM
Добрый день всем) Хотел узнать как вы пишите на Спарке. У меня большая джоба и мало памяти с процессорами. Увеличить пока не имею возможности. Стоит ли сохранять промежуточные результаты в hdfs, затем поднимать новую сесию и продолжать работу уже с агрегированными данными?
ЕГ
Часто помогает просто увеличить spark.sql.shuffle.partitions
AM
Евгений Глотов
Часто помогает просто увеличить spark.sql.shuffle.partitions
спасибо сейчас почитаю
ЕГ
Сохранять промежуточные результаты тоже помогает, если граф выполнения никак не хочет строиться, как надо
ЕГ
Допустим, у меня 50 джойнов, из них одна табличка огромная и 49 маленьких
PK
Добрый день всем) Хотел узнать как вы пишите на Спарке. У меня большая джоба и мало памяти с процессорами. Увеличить пока не имею возможности. Стоит ли сохранять промежуточные результаты в hdfs, затем поднимать новую сесию и продолжать работу уже с агрегированными данными?
А какая проблема-то? Медленно считается, падает по памяти, еще какие-то траблы?
AM
Я персистю максимально на диск, помагает, но не очень
ЕГ
Поджойнить отдельно маленькие, сохранить и потом один большой джойн с большой таблицей работает сильно быстрее, чем джойнить всё за один раз
PK
Я персистю максимально на диск, помагает, но не очень
Персистить помогает, если джоба по одним и тем же данным несколько раз ходит.
AM
А какая проблема-то? Медленно считается, падает по памяти, еще какие-то траблы?
падают Executor, фейлятся джобы...
ЕГ
Персист надо использовать очень аккуратно
ЕГ
Чаще всего он не помогает
PK
падают Executor, фейлятся джобы...
По памяти?