ЕГ
Или нет?
Size: a a a
2021 May 12
D
обычно там где падает 1000-2000 тасков
А
да, шафл партишен увеличьте, должно помочь
ЕГ
1000 тасков падает?
ЕГ
Или всего 1000 тасков
ЕГ
Если шафл партишен не установлен на 1000, то 1000 тасков - это не джойн, не групбай и не окно, это обычный мап таск на чтение данных
ЕГ
Если он падает с оом, то это может быть например чтение здоровых json.gz
ЕГ
Читает мало данных, распаковывает, умирает под завалом)
K
Можно логику на эирфлоу написать :)
D
когда подкручиваю память из 1000-2000 тасков несколько десятков падает, при рестарте проходят. читают gz.parquet
ЕГ
Может размер страйпа слишком большой установлен?
ЕГ
А там в одной из колонок какие-нибудь строки бесконечной длины
ЕГ
А дальше-то джойн в 200 тасков делается?
D
сейчас перепроверю
D
хм, данные чуть изменились уже и планы вроде другие. теперь вообще обсурдный план выходит
D
D
но у меня собственно глобальный вопрос, а как же с таким работать ? что на тему памяти выставлять зепелину ? что hive on spark ? я же не знаю кто и что там соберется анализировать.
ЕГ
А джойн-то где
ЕГ
Лучше всего выкинуть хайв он спарк в мусорку
ЕГ
И в цеппелин настроить нормальный спарк интерпретатор