DM
по умолчанию вродь он только запрошенный ресурс выдает в запрошенном числе, именно две ноды немножко через пень делается
но более конкретно разве что на след неделе могу глянуть
на работе в заметках мож есть
Size: a a a
2019 May 09
ЕГ
Можно взять столько коров, чтобы они точно не влезли на одну ноду
ЕГ
Хотя не факт, что их растащит именно на две ноды, может и на 3, и на 4, как повезёт)
ЕГ
Хотя зависит от процов и размера контейнера в настройках слурма, у нас было что-то вроде 8 ядер на контейнер, потому что были 8-ядерные ксеоны, ну и соответственно берёшь просто 16 и попадаешь на две видюхи, вроде так
A
Коллеги, подскажите, а как в Yarn запустить какое-нибудь своё приложение. Любое. Можно ли, например, просто в контейнере запустить свой bash скрипт. Oozie это делает. А без Oozie можно?
2019 May 10
I
ето спам
GP
ето спам
спасибо не глянул ссылку в этот раз %)
A
Коллеги, подскажите, а как в Yarn запустить какое-нибудь своё приложение. Любое. Можно ли, например, просто в контейнере запустить свой bash скрипт. Oozie это делает. А без Oozie можно?
Если совсем в лоб то через distributedshell можно. Но там таймаут на время работы скрипта/бинаря 600с, выпиливается элементарно пару строк в коде дропнуть. Более продвинуто можно slider потыкать, он обещал запуск немодифицированных приложений
A
Но слайдер не использовал, поэтому не скажу
A
У себя немного поправлннный distributedshell, его аппмастер в просто ярн контейнере, а уже он запускает нужные задачи в докер контейнере на ярне
OI
вроде бы было всего две
Да, у меня как раз бесплатная и 5.х.
OI
вроде бы было всего две
Но дает создавать роли, спасибо!
AZ
Коллеги, подскажите, а как в Yarn запустить какое-нибудь своё приложение. Любое. Можно ли, например, просто в контейнере запустить свой bash скрипт. Oozie это делает. А без Oozie можно?
раньше был apache slider, но его выпилили, теперь просто ярном можно запускать через докер, вот пример https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/yarn-service/Examples.html
A
не выпили а впилили =) компонент за компонентов в сам yarn переносят его
A
те же yarn services это бывшие slider serivces, правда еще не все перенесли, по крайней мере в yarn 3.1
интеграцию полную вроде к 3.3 обещают, но это не точно
интеграцию полную вроде к 3.3 обещают, но это не точно
A
раньше был apache slider, но его выпилили, теперь просто ярном можно запускать через докер, вот пример https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/yarn-service/Examples.html
Спасибо, посмотрю
AZ
не выпили а впилили =) компонент за компонентов в сам yarn переносят его
да, все так, но по моей выборке что слайдер что yarn services в массы не идет, людям проще держать какой-нибудь опеншифт на edge нодах (если бареметал), или отдельный кубер кластер если в облаке
A
из того что тыкал его, в том же кубике для сети сделано на порядок больше
в слайдере много на тебе работы
изоляцию и роутинг для network в docker yarn сейчас только под обсуждением
а в кубике она уже давно есть
поэтому тут достаточно тяжело его пропихивать
в слайдере много на тебе работы
изоляцию и роутинг для network в docker yarn сейчас только под обсуждением
а в кубике она уже давно есть
поэтому тут достаточно тяжело его пропихивать
A
и если когда слайдер появился то кубика даже и не было, а docker swarm тоже как-то только появлялся
то сейчас слишком много конкурентов которые с самого начала делались под всякие service mesh
то сейчас слишком много конкурентов которые с самого начала делались под всякие service mesh