лул

?

кто-нибудь тут пользуется аренадатой?

Никита, тут вопрос про использование 🙂

а вы автор? :D

Если бы!  😢 Всего лишь скромный представитель )

хех

вообще может кто-то просто знает как цеппелин работает, в аренадате стоит дохловатый цеппелин сервак, надо туда 30 человек натравить, я боюсь что они за ресурсы цеппелина сначала передерутся и всё залагает, а потом за ярн, тут я ещё могу придумать как лимиты выставить, но вот с цеппелином затык

И чё вы даж сами не юзаете?

XD

А причём тут аренадата вообще

Можно ливи интерпретатор использовать, ресурсы локальные для интерпретатора будут выдаваться хрен знает где, например

За цепелин сильно не скажу, больше кернелы и сам сервер jupyter ковырял, но из того что смотрел сессия в самом цепелин жрёт не сильно много, основная масса в процессе кернела крутится, так что 30 человек должно переварить

Цепелин + спарк через ливви в самом цепелине вообще копьё будет, почти все в драйвере в ярне будет

сисадмины не готовы тратить время на настройку доп утил, ограничены аренадатовским стеком, там цепелин

а вот ливи там ни с какой стороны не торчит

спасибо, потестим
а посоветуете что-нибудь для ограничения джобов на ярне/спарке? нужен и хулахуп стриминг и спарк, щас есть проблемы залипающих джобов, через 2 часа они киляются, пока что неясно что это зачем и как улучшить, но я боюсь что 35 человек просто не уживутся на нашем маленьком сервере без давки друг друга по ресурсам, хочется лимиты явно задать или какой-нибудь fair шедулер проставить лучше? может есть механизм сразу говорящий "не могу заалоцировать джобу", попробуй позже

Фэйр шедулер, динамик аллокейшен, всё ок

динамик аллокейшн самое последнее решение, сначала сделайте на статике, посмотрите нет ли перекосов в расчётах