СХ
по ресурсам им хватит, а вот как оператор будет работать - хз
Size: a a a
2021 February 28
СХ
просто не очень понятно, надо ли каждый поток в отдельный контейнер как в yarn
СХ
или как вообще оператор это у вас делает
СХ
вот сейчас если сделать yarn list будет 500 контейнеров с флинками, а как будет operator на такое реагировать
СХ
сколько шт на 1 оператор можно вешать?
A
Не проверял, у меня только в ярне были
СХ
вот и у меня только в yarn, но ярн хуже мониторится
СХ
каждый день получается порядка 12-30 флишком которые надо "лечить"
СХ
лечатся то они легко, откатом офсетов
GP
просто не очень понятно, надо ли каждый поток в отдельный контейнер как в yarn
Скорее всего как ярн ведёт себя
GP
я флинки не пускал, спарки пускаю
GP
1 в 1 как ярн работает - екзееуторы в контенеры пихает
СХ
я флинки не пускал, спарки пускаю
спарк тоже думаем в k8s, ибо в ярн что-то странное получается с нагрузкой
GP
для кубера спарки и флинки инородные приложения будут я ж в клабхаусе там рассказывал
GP
куберу (обычно) не нравится что под жрет 100% своих выделенных ресурсов
A
Так это можно про любой дата процессинг сказать
СХ
ноды по очерёдно по 15-20 шт при тяжёлых джобах, при вроде бы одинаковых выделениях ресурсов уходят в la под 200 и забивается вся память на хосте, висит минут 20-30, потом нагрузка падает до нуля
A
Даже про престо в кубике
GP
Так это можно про любой дата процессинг сказать
в кубе - да
СХ
для кубера спарки и флинки инородные приложения будут я ж в клабхаусе там рассказывал
ну я поздно присоединился