Size: a a a

2019 September 29

A

Alex in Data Engineers
Мы гоняем питон в докере на ярне

Ярн не умеет выставлять докеру размер памяти на старте, но это не спасает сильно жадных процессов внутри докера от того чтобы не быть убитыми
источник

A

Alex in Data Engineers
@asm0dey ярну нужны включённые cgroups (а у большинства они выключены, так как есть баги) чтобы лимитировать cpu ресурсы
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Если не используются сигруппы и их лимиты, то просто проходит по проц системе и трекает всех от родителей и суммирует числа
а какая разница в ярна 2 и ярна 3; втрой вроде только для спу сигруппы использует? как он память ограничивает? // у меня оффтоп впрос по ярноконтейнерам;
источник

ПФ

Паша Финкельштейн in Data Engineers
Alex
@asm0dey ярну нужны включённые cgroups (а у большинства они выключены, так как есть баги) чтобы лимитировать cpu ресурсы
воот. У нас выключены, я специальн проверял ). Так что я думаю что мы вполне можем где-то жадничать
источник

A

Alex in Data Engineers
Видел у них таск на то чтобы в третьем допилили и блок/нетворк ио
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
а какая разница в ярна 2 и ярна 3; втрой вроде только для спу сигруппы использует? как он память ограничивает? // у меня оффтоп впрос по ярноконтейнерам;
где-то в методичке видел что память тоже может, но как - в той е методичке не написано
источник

A

Alex in Data Engineers
Вроде в третьем и на памяти лимиты ставил, но не буду утверждать
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Вроде в третьем и на памяти лимиты ставил, но не буду утверждать
да, я код листал; вроде сигруппы для всего
источник

GP

Grigory Pomadchin in Data Engineers
а для второго как? у меня просто проблема что похоже некоторые си приложения в ярно контейнерах не очень уважают то лимиты ярноконтейнеров
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
в моем случае конечно был косяк что сначала либа не уважала сигруппы
источник

GP

Grigory Pomadchin in Data Engineers
потом зауважала и стало лучше но только по спу
источник

GP

Grigory Pomadchin in Data Engineers
Grigory Pomadchin
а для второго как? у меня просто проблема что похоже некоторые си приложения в ярно контейнерах не очень уважают то лимиты ярноконтейнеров
но я не утверждаю, у меня не было времени слишком много ковыряться
источник

A

Alex in Data Engineers
И после выхода за лимиты её не прибивало?
источник

GP

Grigory Pomadchin in Data Engineers
неа; в плодь до хенгаута ноды
источник

GP

Grigory Pomadchin in Data Engineers
и это EMR
источник

GP

Grigory Pomadchin in Data Engineers
я не проверял на третем, полагаю, что там у меня все бы заработало (но тож хз т.к. малоли)
источник

GP

Grigory Pomadchin in Data Engineers
ну и в третем то докерконтейнеры пусктаь можно, а там уж точно лимиты выставляются сигруппами
источник

GP

Grigory Pomadchin in Data Engineers
но во втором ярне не полноценные контейнеры, псевдоконтейнеры какие-то
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
ну и в третем то докерконтейнеры пусктаь можно, а там уж точно лимиты выставляются сигруппами
а там как, нет движения в сторону полностью заменить ярн на кубернетис/месос?
источник