подозреваю что там ссд под кеш стоит

а в ссд 3тб это часто много

3PB, но эти условные 3TB распределяются на десяток нод и это не единственная задача на кластере. Другим тоже хочется, но они сильно скромнее и могут уживаться.

Да, кстати кеш размазан по хдфс дискам или на отдельных?

отдельные, но их не так чтобы много - хдфс важнее.

И на нём томик тмп на 40 гигабайт😆

Темп должен быть размером +-20% от размера хдфс

Чтобы без проблем работать

Но чикать джобы на 3тб шафла по метрике тоже в целом норм решение, в тесноте, да не в обиде, редко для каких задач требуется действительно такой объём

эм...т.е. нужно в tmp на каждой тачке дать примерно 4TB диск? дорого. физически.

и вопрос не про то как такую задачу переварить, а про то как лучше расставить ограничители (если такие есть) чтобы прибивали задачи, которые не могут ну никак влезть в свои кэши и что-то пошло не так с логикой.

Не, пускай и детали инфраструктуры пообсуждают, полезно же для сообщества)

Я не против, но основной вопрос надо бы напомнить (;

насколько помню у нас это сделано сторонними скриптами
так как сам ярн в такое не умеет

вот к тому же склоняемся, но была надежда что что-то не знаем.

Привет комьюнити. Ищу ментора, репетитора, помощника по освоению spark в связке с hbase/Solr. Почасовая оплата. 5к/час для знающих тему. Желательно Python, так как могём. Основы знаем. Если есть кто может помочь с задачами, жду в личку (профиру ничего предложить не смог)

в mapreduce тасках там была логика в самом таске трекать чтобы за лимиты не вылететь
а вот в спарке таких параметров не знаю

ярн тоже не делали ничего

Привет. Как вариант, попробуйте сделать ревью кода и анализ плана, чтобы понять почему на шафле так много генерится. Возможно, гдет картезиан джойн закрался или данные надо по другому готовить, как вариант. 2 момент, если с кодом все ок, то подумать над вариантами хранения данных подключить партицию, бакеты, а может вообще разбивать данные по каком либо условию на разные таблицы и делать джойн кусками, возможно даже бродкастом и будет вам счастье

Ну и последний вариант, у вас и правда много данных и пора расширяться