P
Тут программисты. Они не знают что с ней делать
Size: a a a
2021 March 05
NN
Я читал в газете
AB
Тут программисты. Они не знают что с ней делать
я даже видел по телику!🤣🤣🤣
N
Нет, я говорю что в хадупе при настройке ярна можно указать памяти больше на нодаменеджере чем действительно есть
То есть мы знаем что джобы не выжирает обычно все. Следовательно модем на машине в 10гб сказать что ярн располагает 12гб
Если свопа нету, то в какой-то момент может случится ситуация что всем не хватит и кто-то упадёт
Видел такие настройки и по памяти и по cpu. Чтобы поднять общий уровень утилизации. Так как частенько воркеры стоят ожидая следующих команд
То есть мы знаем что джобы не выжирает обычно все. Следовательно модем на машине в 10гб сказать что ярн располагает 12гб
Если свопа нету, то в какой-то момент может случится ситуация что всем не хватит и кто-то упадёт
Видел такие настройки и по памяти и по cpu. Чтобы поднять общий уровень утилизации. Так как частенько воркеры стоят ожидая следующих команд
Я тут полез вчера разбираться с этим. Выяснилось, что когда YARN думает, что занято 13 Тб, по факту суммарный объем всех хипов во всех очередях где-то 2,8-3. Получается, оверкоммит можно раза в 3 минимум сделать.
AZ
Я тут полез вчера разбираться с этим. Выяснилось, что когда YARN думает, что занято 13 Тб, по факту суммарный объем всех хипов во всех очередях где-то 2,8-3. Получается, оверкоммит можно раза в 3 минимум сделать.
Крутая утилизация
N
Крутая утилизация
Огонь. Все по гайдлайнам.
AZ
Огонь. Все по гайдлайнам.
С позиции опса ничего и не сделать, это надо идти разработчиков строить
N
С позиции опса ничего и не сделать, это надо идти разработчиков строить
Чтобы они что сделали?
AZ
Чтобы они что сделали?
Не просили контейнеры таких размеров
TT
Пахнет дата сотонистами
TT
Обычно эти товарищи любят один конфиг с настройками на все случаи жизни
N
Не просили контейнеры таких размеров
Размер контейнера ограничен снизу ярном. И он тоже считается по гайдлайнам и чаще всего ограничен количеством шпинделей на воркерах.
АР
Не просили контейнеры таких размеров
там на ваш вопрос ответили в чате по клику, посмотрите
AZ
Размер контейнера ограничен снизу ярном. И он тоже считается по гайдлайнам и чаще всего ограничен количеством шпинделей на воркерах.
Какой у вас минимальный контейнер?
AZ
там на ваш вопрос ответили в чате по клику, посмотрите
Спасибо!
N
Какой у вас минимальный контейнер?
<memory:8192, vCores:1>
AS
Размер контейнера ограничен снизу ярном. И он тоже считается по гайдлайнам и чаще всего ограничен количеством шпинделей на воркерах.
Шпендели это про диски, они при чем при расчете контейнеров?
AZ
<memory:8192, vCores:1>
А покажите как вы посчитали такой большой минимальный объём памяти исходя из числа шпинделей?
AZ
Это yarn-utility.py чтоли сеет хаос по-прежнему?
N
А покажите как вы посчитали такой большой минимальный объём памяти исходя из числа шпинделей?
Макс число контейнеров на машине = 2*число физических дисков. Исходя из этого и объема памяти считается минимальное выделение.
У меня под рукой нету этого гайдлайна, но я могу нагуглить. Это еще у хортона в статье про ярн сайзинг было.
У меня под рукой нету этого гайдлайна, но я могу нагуглить. Это еще у хортона в статье про ярн сайзинг было.