A
С интерактивом поэтому вынесли в отдельную очередь, так как при загрузке днем создание нотебука минутами ждать можно
Size: a a a
2021 December 26
ЕГ
Ну очередь понятно, но когда етли не умещаются вместе с юзерами в одном кластере, а впихнуть невпихуемое надо
A
При среднем 100 джобы которые требуют sla на выполнение могут начать отставать.... Что не есть хорошо
ЕГ
Так у них выше приоритет, на то и преемпшен
ЕГ
Юзеров срубает и всё
ЕГ
Сла выполнен
A
У нас интерактив подумываем в кубик вынести, его меньше
ЕГ
Отсчиталось - юзеры опять набегают
ЕГ
И их контейнеры уже не скидывает
A
А пользователям в это время чай пить?
ЕГ
Пользователю минимальный контейнер выдаётся
ЕГ
Иногда и такое бывает, а чё поделать
ЕГ
Если одна балалайка на всех, то играют по очереди)
ЕГ
Или каждому по струне
ЕГ
NN
А у вас много вообще адхока спарком?
A
Вот из-за того что в ярне норм екстернал шафл сервер, то почти всегда только драйвер и остаётся, сложно считать =/
A
Как в кубике с этим будет вопрос открытый
NN
А что он принципиально изменит, если ресурсов будет столько же?
A
Вопрос у нас сейчас сколько выделить ресурсов под куб кластер
Екстернал шафл сервера у кубика нету
Деаллокацию может делать только по эвристикам убить ноды которые данные от рдд нужные не держат
В случае ярна, большинство джобов оставляют только драйвер, пока пользователь пошёл на кофе
Сколько же вернёт спарк кубику нужно тестить и смотреть, пользователей всё равно не сразу же всех закидывать будем
Екстернал шафл сервера у кубика нету
Деаллокацию может делать только по эвристикам убить ноды которые данные от рдд нужные не держат
В случае ярна, большинство джобов оставляют только драйвер, пока пользователь пошёл на кофе
Сколько же вернёт спарк кубику нужно тестить и смотреть, пользователей всё равно не сразу же всех закидывать будем