Size: a a a

2019 September 29

K

KrivdaTheTriewe in Data Engineers
Старый Хрыч
в контейнере?
А что в контейнере ?
источник

СХ

Старый Хрыч in Data Engineers
KrivdaTheTriewe
А что в контейнере ?
воркер
источник

K

KrivdaTheTriewe in Data Engineers
Писать на диск нельзя ?
источник

СХ

Старый Хрыч in Data Engineers
KrivdaTheTriewe
Писать на диск нельзя ?
ну волюм есть, но в контейнере кеш страниц и тп не работают в том виде как в вм
источник

СХ

Старый Хрыч in Data Engineers
или на баре металле
источник

K

KrivdaTheTriewe in Data Engineers
И что
источник

K

KrivdaTheTriewe in Data Engineers
Вот ты читаешь и пишешь на диск
источник

K

KrivdaTheTriewe in Data Engineers
Контейнера
источник

K

KrivdaTheTriewe in Data Engineers
Эфемерный
источник

K

KrivdaTheTriewe in Data Engineers
А так достаточно открыть доку по Спарку в кубере и посмотреть как там сделан стейджинг и сделан ли он вообще нормально :)
источник

СХ

Старый Хрыч in Data Engineers
KrivdaTheTriewe
А так достаточно открыть доку по Спарку в кубере и посмотреть как там сделан стейджинг и сделан ли он вообще нормально :)
там всё эксперементал и на свой риск
источник

СХ

Старый Хрыч in Data Engineers
потому и задал вопрос
источник

АЖ

Андрей Жуков in Data Engineers
Старый Хрыч
потому и задал вопрос
А ты уже почитал, попробовал и все сломалось или пока просто поговорить зашел?
источник

СХ

Старый Хрыч in Data Engineers
Андрей Жуков
А ты уже почитал, попробовал и все сломалось или пока просто поговорить зашел?
просто поговорить, вдруг у кого уже были такие проблемы, и я не наступлю на грабли
источник

A

Alex in Data Engineers
@erzentd  а в чем разница с бареметалом и каким yarn?

там точно так же: попытался алоцировать больше чем тебе разрешили - процес будет убит

поэтому запустится он в кубике или в хадупе разницы 0
основное отличие в "кто его убьёт"
источник

ПФ

Паша Финкельштейн in Data Engineers
Alex
@erzentd  а в чем разница с бареметалом и каким yarn?

там точно так же: попытался алоцировать больше чем тебе разрешили - процес будет убит

поэтому запустится он в кубике или в хадупе разницы 0
основное отличие в "кто его убьёт"
О! А как ярн контролирует офхип? Мне же ничто не мешает на ярне голую С программу запустить. А в ней сделать форк и в форке в цикле аллоцировать память
источник

A

Alex in Data Engineers
Если не используются сигруппы и их лимиты, то просто проходит по проц системе и трекает всех от родителей и суммирует числа
источник

A

Alex in Data Engineers
Может считать как res так и virt типы
источник

A

Alex in Data Engineers
В пике конечно можно больше запросить, но на следующей проверке такие жадные будут убиты
источник

A

Alex in Data Engineers
/proc/....

Выгребает всю инфу

Ему без разницы там java или ещё чтото
источник