N
Ну это ж будет на порядки медленнее. Чем дефолтный темп смонтировать на ссд волюм.
а можно ссылку на код?
что-то я не помню такого
Size: a a a
2021 September 08
A
ЕГ
Ссылку хз, но инфа сотка
A
кубик требует жертв, если хотите динамик скейл спарк кластера
в отличии от yarn где можно зарегать агента и само приложение потушить, в кубике так не прокатит
в отличии от yarn где можно зарегать агента и само приложение потушить, в кубике так не прокатит
N
Вообще необязательно. Под систему обычно ставят ссд, а дефолтный путь /tmp обычно туда и смотрит.
ЕГ
Поэтому и появилась рекомендация хдп держать не больше 80% кластера забитым
ЕГ
Так как 20% под шафл используется
ЕГ
Был у нас как-то ходуб с темп на ссд...
ЕГ
Из бракованной партии со скидосом...)
N
Речь про то, что на воркер ноде диски используются и хдфс тоже
A
аааа, ну это понятно, но под working dir у нас отдельные ссд смонтированы
A
возможно патчи хортона/клоудеры, просто я не помню чтобы там это было
в 3м что-то начинали делать, но чтобы уже работало я не помню
стейт да, уезжает в хдвф
а вот cache и спилы только в локал диски
в 3м что-то начинали делать, но чтобы уже работало я не помню
стейт да, уезжает в хдвф
а вот cache и спилы только в локал диски
N
Ну мониторинг там, алертинг, смарт и всё такое.
A
Евгений
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/storage/StorageLevel.scala#L148-L161
про варианты в hdfs/s3 ничего нету
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/storage/StorageLevel.scala#L148-L161
про варианты в hdfs/s3 ничего нету
ЕГ
Он не совсем в hdfs сохраняет, просто рядом на те же диски, если я ничего не путаю
ЕГ
Есть ещё такая штука, как yarn usercache, возможно это всё вписывается туда
ЕГ
Так как шафлы на терабайт вызывали увеличение юзеркеша на терабайт
A
а, да, тогда верно
просто как уже сказано "hdfs диски отдельно, yarn working dir диски отдельно"
если конечно не хочется поймать веселье в проде когда кто-нибудь в yarn начинает генерировать вагоны логов/спилов/тд
просто как уже сказано "hdfs диски отдельно, yarn working dir диски отдельно"
если конечно не хочется поймать веселье в проде когда кто-нибудь в yarn начинает генерировать вагоны логов/спилов/тд
N
Возьми кароч свои ключи и в маппортишоне по хбейс апи обогати. Точно будет более лутше, понятнее и управляемее.
ЕГ
Стораж левел = диск, вопрос в том, какой именно это будет диск