ЕГ
"кластер ложится" - какие симптомы?
Size: a a a
2021 July 23
ЕГ
Другие джобы перестают работать, хдфс валится с ошибками, амбари алертит?
VI
Ноды падают
VI
Ругается на ресурсы
VI
Нет, 1тб
VI
Да
ЕГ
Как на 1тб могут быть 2 таблицы размером 1тб?
ЕГ
Саму на себя джойнишь что ли
VI
Архив и инкремент
VI
Да две
ЕГ
Ну ладно, суть короче в том, что при джойне нужно куда-то складывать результат шаффла, и если там реально 1тб, то складывать его тупо некуда
VI
Т.е все проблемы в ресурсах ?
ЕГ
Я всё равно не понимаю
ЕГ
Как в литровую банку можно налить 2 литра сока?
ЕГ
Если у вас табличка на 1тб, и хдфс на 1тб, то это просто капец как грустно
AV
Может речь про оперативу все таки?
VI
Наверное не так написал
VI
6 Тб свободно места хдфс
VI
Памяти 1тб
ЕГ
Таблица на 1тб в памяти распакованная занимает 5-10тб