A
usercache да, обычно в воркинг дир ярновских создаётся
Size: a a a
2021 September 08
ЕГ
Вместо ловли веселья можно соблюдать рекомендации по 80% заполненности)
A
как это гарантирует что кто-то не начал писать бешено ?
N
Ну от этого сата хдд не станет быстрее нвме
A
в этом кстати недочёт ярна
он не трекает сколько пользователь использовал внутри usercache и тд
он не трекает сколько пользователь использовал внутри usercache и тд
ЕГ
В соседнем чате говорят ходуб на нвме норм тема, можно 2 в 1 закрыть)
ЕГ
Можно мониторинг и автоматическое прибитие юзера по лимиту внедрить
A
так и живём
правда working dir всё равно на отдельных ssd дисках
в то время как hdfs на hdd
правда working dir всё равно на отдельных ssd дисках
в то время как hdfs на hdd
N
Комодити хардваре
ЕГ
Ну сата хотя бы, латенси в иопсы вроде в основном упирается)
Y
Создал external table в Hive на Hbase таблицу, так по крайней мере работает фильтрация.
Если нужно джойнить несколько таблиц из Hbase, сейчас сделано временное сохранение больших таблиц в паркет, джойн из паркета затем удаление временных данных. Это стандартная практика для работы с Hbase или можно что-то улучшить?
Если нужно джойнить несколько таблиц из Hbase, сейчас сделано временное сохранение больших таблиц в паркет, джойн из паркета затем удаление временных данных. Это стандартная практика для работы с Hbase или можно что-то улучшить?
N
субдшный подход, очень дорогой. отобраться/обогатиться в спарке через hbase api и там же поджойниться на порядки дешевле.
NN
+
NN
Для систематизации:
1. Стейты ложатся в хдфс
2. Весь кэш, который не уместился в памяти, а также весь шаффл и спилл ложатся на диски в yarn usercache?
3. Есть же вроде как ещё отдельные workingdir для всех этих шафлов и кэшей, или он в ярновом кластере и есть usercache?
1. Стейты ложатся в хдфс
2. Весь кэш, который не уместился в памяти, а также весь шаффл и спилл ложатся на диски в yarn usercache?
3. Есть же вроде как ещё отдельные workingdir для всех этих шафлов и кэшей, или он в ярновом кластере и есть usercache?
ЕГ
Можно сделать отдельно, можно на тех же дисках
ЕГ
Два стула
ЕГ
И на обоих пики)
NN
Бле
NN
А какой смысл тогда в ярновский usercache это писать? Насколько я знаю, он вообще не чистится, пока сессию не прибьешь.
ЕГ
Вроде как чистится при завершении джоба. Успешном завершении...