АЖ
да, своп на хадупе больнааа
Size: a a a
2021 March 04
ME
ну и первый уточняющий вопрос, можно ли избежать свопа? если неравномерный расчет, то делать repartition
ME
ну или память докидывать
N
А что используете на hadoop воркерах? Просто если что-то джавовое, то вылезать jvm heap на swap всегда больно же
спарк
ME
спарк
ну а данные в памяти какие? Стандартный оффлоадинг в диск чем не годится?
ME
Это будет на порядок лучше свопа
ME
Там и сжатие еще можно сделать
АЖ
спарк
дык лучше ему под шафл дать эти ссд
A
Какие есть мнения по поводу своп разделов на SSD на ходуп-воркерах? Делать или нет?
Ээээ даже интересно зачем?
Вы большой оверкомит памяти в ярне настроили?
Вы большой оверкомит памяти в ярне настроили?
A
дык лучше ему под шафл дать эти ссд
working directory (туда же и шафл ходит) на ссд норм
АЖ
working directory (туда же и шафл ходит) на ссд норм
ну, именно
UD
Какие есть мнения по поводу своп разделов на SSD на ходуп-воркерах? Делать или нет?
Защем
A
Просто если оверкомит не делали, то странно как он в своп может пролезть
Ярн убьёт приложение если за лимиты вылазит
Ярн убьёт приложение если за лимиты вылазит
UD
Если некуда девать ссд, настройте кэш под ярн
N
ну и первый уточняющий вопрос, можно ли избежать свопа? если неравномерный расчет, то делать repartition
Ну можно, конечно. не создавать его просто. просто все чаще сыплются ошибки jvm, что не может allocate memory. Это обидно, когда джоб 16 часов работал, а потом упал.
UD
Ну можно, конечно. не создавать его просто. просто все чаще сыплются ошибки jvm, что не может allocate memory. Это обидно, когда джоб 16 часов работал, а потом упал.
Это не только память
UD
Могли тупо уперется в количество замапленных сегментов
UD
Есть крутилка у ведра
N
Ээээ даже интересно зачем?
Вы большой оверкомит памяти в ярне настроили?
Вы большой оверкомит памяти в ярне настроили?
Нет, чтобы ошибок выделения избежать. Пусть подольше будет, но хоть как-то отработает.