АЖ
Evgeny
кажется, что правильный путь - уходить от хардкода памяти\ядер и динамически считать все это дело с помощью ansible\salt\puppet
Хм, а как это должно выглядеть?
Size: a a a
2021 March 04
A
Обычно разные конфигурации в разные группы запихиваются и по группе уже конфиг цпу-память
A
Что в ярне. Что в ансибле
E
Хм, а как это должно выглядеть?
yarn.nodemanager.resource.cpu-vcores: '{{ grains['num_cpus'] - 1 }}'
yarn.nodemanager.resource.memory-mb: '{{ (grains['mem_total'] * 0.7) | round | int }}'например
АЖ
Evgeny
yarn.nodemanager.resource.cpu-vcores: '{{ grains['num_cpus'] - 1 }}'
yarn.nodemanager.resource.memory-mb: '{{ (grains['mem_total'] * 0.7) | round | int }}'например
а, в плане раскатки
я думал, что-то динамически менять
я думал, что-то динамически менять
E
не, я про хардкод ресурсов
АЖ
с блюпринтов у меня подгорало в свое время
E
у меня ваниль, так что, ничего не подгорает :)
E
а, в плане раскатки
я думал, что-то динамически менять
я думал, что-то динамически менять
ну, в целом, никто не мешает раскатываться при изменении характеристик тачек. Вполне динамично получится :) тем более, что nodemanager стартует быстро, в отличие от датаноды
АЖ
Evgeny
ну, в целом, никто не мешает раскатываться при изменении характеристик тачек. Вполне динамично получится :) тем более, что nodemanager стартует быстро, в отличие от датаноды
не, с этим понятно, я подумал, какие-то другие интересные идеи, до которых я не додумался :)
АЖ
какие-нибудь многопрофильные ноды, с которых иногда нужно ярн выгонять
E
сложна. а если выгонять, то и пригонять, и ограничивать в ресурсах придётся. Жизнь - боль
AZ
Evgeny
кажется, что правильный путь - уходить от хардкода памяти\ядер и динамически считать все это дело с помощью ansible\salt\puppet
this
только так и нужно делать, вы же менеджмент код не для одного забега пишете
только так и нужно делать, вы же менеджмент код не для одного забега пишете
AZ
более того, можно иметь нодгруппы с оверкоммитом по ядрам, такие прото-оппортунистические контейнеры, чтобы утилизацию повышать, туда приземлять всякий адхок ворклоад
T
Evgeny
кажется, что правильный путь - уходить от хардкода памяти\ядер и динамически считать все это дело с помощью ansible\salt\puppet
О я так делал на emr передним стоял скриптик и в зависимости от входных данных конфигурировал кластер. Очень сильно у простил мою жизнь особенно вплане онколов - ночи стали спокойней
AZ
да, для пайплайнов это гораздо лучше чем автоскейлеры всяких видов
AZ
другой вопрос что сайзить надо под самое широкое место пайплайна, и утилизация перед и после будет страдать, но это уже часть данного кактуса
E
более того, можно иметь нодгруппы с оверкоммитом по ядрам, такие прото-оппортунистические контейнеры, чтобы утилизацию повышать, туда приземлять всякий адхок ворклоад
а нодгруппы лейблами резать?
AZ
Evgeny
а нодгруппы лейблами резать?
да
K
другой вопрос что сайзить надо под самое широкое место пайплайна, и утилизация перед и после будет страдать, но это уже часть данного кактуса
Хорошо когда сервера одинаковые