A
@justedro увидишь какие очереди пустые и много ли их
и те которые забиты
и те которые забиты
Size: a a a
2019 July 03
A
что изменить: отключить создание новых, создать те которые нужны, назначить дефолтную какую-либо
N
О, благодарочка. Я гадал, что он за безумные названия очередей придумывает, которые никто не создавал в Capacity scheduler.
EV
пользователь один, очередь одна, шедулер Capacity Scheduler по [MEMORY]
EV
[Wed Jul 03 09:47:32 +0000 2019] Application is added to the scheduler and is not yet activated. Queue's AM resource limit exceeded. Details : AM Partition = CORE; AM Resource Request = <memory:3584, vCores:1>; Queue Resource Limit for AM = <memory:7168, vCores:1>; User AM Resource Limit of the queue = <memory:7168, vCores:1>; Queue AM Resource Usage = <memory:7168, vCores:2>;
EV
Ток не смейтесь про мой микрокластер :D
N
А не тюнил maximum-am-resource-percent?
N
Оно по дефолту 0.2
EV
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.5</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.5</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
N
По-моему, я что-то похожее лечил тюнингом этого параметра
N
До 0.7
EV
🤔 связи пока не вижу но надо попробовать
AS
пользователь один, очередь одна, шедулер Capacity Scheduler по [MEMORY]
а сколько памяти выделяется одному контейнеру, может оставшийся свободной недостаточно для нового контейнера?
EV
свободной почти половина кластера, есть совсем не занятые инстансы
A
ну конкретно тут видно что у вас еще другие am запущены
EV
10 машн по 7168 в каждой, один контейнер по 3584 включая оверхед
EV
запущено 2 AM с 5 контейнерами в каждой
A
Queue AM Resource Usage = <memory:7168, vCores:2>;то есть уже пробили лимит который выставлен
исходя из того что запрос на
AM Resource Request = <memory:3584, vCores:1>, то скорее всего это третье ваше приложение что пытаетесь заранать
EV
3 AM не запускается, висит в accepted
EV
Queue AM Resource Usage = <memory:7168, vCores:2>;то есть уже пробили лимит который выставлен
исходя из того что запрос на
AM Resource Request = <memory:3584, vCores:1>, то скорее всего это третье ваше приложение что пытаетесь заранать
ну вот я и пытаюсь понять где та самя крутилка :)