Size: a a a

2019 September 29

ПФ

Паша Финкельштейн in Data Engineers
Я понимаю что мезос умер
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Я понимаю что мезос умер
не умер
источник

GP

Grigory Pomadchin in Data Engineers
EKS есть на амазоне; можно там пускать приложения
источник

ПФ

Паша Финкельштейн in Data Engineers
Ну так. Весь мир уже крутится вокруг кубернетиса (по крайней мере в знакомом мне энтерпрайзе)
источник

A

Alex in Data Engineers
Grigory Pomadchin
но во втором ярне не полноценные контейнеры, псевдоконтейнеры какие-то
if (pmemEnabled || vmemEnabled) {
 String msg = "The default YARN physical and/or virtual memory health"
     + " checkers as well as the CGroups memory controller are enabled. "
     + "If you wish to use the Cgroups memory controller, please turn off"
     + " the default physical/virtual memory checkers by setting "
     + YarnConfiguration.NM_PMEM_CHECK_ENABLED + " and "
     + YarnConfiguration.NM_VMEM_CHECK_ENABLED + " to false.";
 throw new ResourceHandlerException(msg);
}


во
втором в случае использования сигрупп, так вариант дефолтного чека был для памяти
а вот как Cgroups memory controller используется я не знаю, на втором обычно unsecured кластера были
источник

A

Alex in Data Engineers
Паша Финкельштейн
а там как, нет движения в сторону полностью заменить ярн на кубернетис/месос?
mesos vs yarn разрабы ярна с самого начала обсуждали что да как и почему они пишут свой container-executor
источник

GP

Grigory Pomadchin in Data Engineers
Alex
if (pmemEnabled || vmemEnabled) {
 String msg = "The default YARN physical and/or virtual memory health"
     + " checkers as well as the CGroups memory controller are enabled. "
     + "If you wish to use the Cgroups memory controller, please turn off"
     + " the default physical/virtual memory checkers by setting "
     + YarnConfiguration.NM_PMEM_CHECK_ENABLED + " and "
     + YarnConfiguration.NM_VMEM_CHECK_ENABLED + " to false.";
 throw new ResourceHandlerException(msg);
}


во
втором в случае использования сигрупп, так вариант дефолтного чека был для памяти
а вот как Cgroups memory controller используется я не знаю, на втором обычно unsecured кластера были
постой, т.е. если pmem и vmem вырубаешь то он сигруппы использует? и каждый контейнер будет ограничен сигруппами?
источник

A

Alex in Data Engineers
по мне там главная фишка была что у месоса ты сразу резервируешь сколько ресурсов тебе нужно
источник

A

Alex in Data Engineers
@pomadchin =) не знать, я же говорю что это из кода что раньше во втором ярне в классе CGroupsMemoryResourceHandlerImpl был
сейчас они нативный oom-handler прикрутили
источник

GP

Grigory Pomadchin in Data Engineers
Alex
по мне там главная фишка была что у месоса ты сразу резервируешь сколько ресурсов тебе нужно
и 'ближе к металлу', частичное выделение спу, свои контейнеры которые умели работать с жпу
источник

GP

Grigory Pomadchin in Data Engineers
Alex
@pomadchin =) не знать, я же говорю что это из кода что раньше во втором ярне в классе CGroupsMemoryResourceHandlerImpl был
сейчас они нативный oom-handler прикрутили
спасиб; я как-то пропустил этот кусок кстати : D
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Ну так. Весь мир уже крутится вокруг кубернетиса (по крайней мере в знакомом мне энтерпрайзе)
ну для амазона есть дсос клаудформейшн стеки, ну и кубер на мезосе пускать можно
источник

A

Alex in Data Engineers
Grigory Pomadchin
постой, т.е. если pmem и vmem вырубаешь то он сигруппы использует? и каждый контейнер будет ограничен сигруппами?
если не вырубаешь то даже не должен подняться, но кто же его знает
источник

A

Alex in Data Engineers
Паша Финкельштейн
Ну так. Весь мир уже крутится вокруг кубернетиса (по крайней мере в знакомом мне энтерпрайзе)
ну тут ведь всегда от выборки зависит

хотя из общения с разрабами мезосферы: или вы покупаете мезосферу и наш сапорт, или вы нанимаете хороших инженеров понимающих кишки мезоса чтобы патчить и сапортить всё самостоятельно
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
ну для амазона есть дсос клаудформейшн стеки, ну и кубер на мезосе пускать можно
на амазоне понятно что можно всё что угодно. Я скорее про онсайт. Вот в результате этого обсуждения я маленько потерял в чём преимущество ярна перед кубиком
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
на амазоне понятно что можно всё что угодно. Я скорее про онсайт. Вот в результате этого обсуждения я маленько потерял в чём преимущество ярна перед кубиком
кубер не был заточен под 90% загрузку контейнеров, отсюда огромные проблемы при использовании взаместо медленного ярна
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
статья из той же оперы что и yarn vs kubernetes
источник

GP

Grigory Pomadchin in Data Engineers
Alex
статья из той же оперы что и yarn vs kubernetes
ну шедудеры можно сравнивать, помнится @optician_owl сравнивал их
источник

GP

Grigory Pomadchin in Data Engineers
И хотел в итоге слерм затащить; не знаю что там в результате сейчас
источник