MB
в основном HBASE и ORCи
Size: a a a
2019 July 10
MB
мелочи нет совсем. дак хадупу же мелочь противопоказана
2019 July 11
A
512гб рам а ноде
я правильно понял: вам 512гб не хватило памяти в неймноде на 30тб ?
VZ
я обычно придерживаюсь совета
At capacity, with the recommended allocation of 1 GB of memory per million blocksНо обычно на webui NN видно скок она потребляет
MB
я правильно понял: вам 512гб не хватило памяти в неймноде на 30тб ?
нет. нам нехватило heap 2GB
MB
...вообще чем больше я погружаюсь в хадуп тем чаще делаю вывод что с точки зрения разработки он офигенен
MB
...авот сточки зрения производительности и эксплуатации - полное ГОВНИЩЕ
S
глупости какие то
S
не делай такие выводы
A
он и с разработки такой же как в эксплуатации =)
MB
ну хз...
MB
глупости какие то
Ну смотри... Вчера у меня парадеятелей нагнули кластер запустив job. А вот поменять приоритет этого джоба никак налету нельзя... В итоге трифты на hbase выпилились пока нагрузка на ИО 90% была
MB
они тупо не работали всё это время
MB
Я к тому что гибкости в системе никакой
S
твоя претензия какая-то слабая
в хадупчике есть много спорных решений, а уж если пытаться использовать его как серебряную пулю то ваще жесть - но вот про дележку ресурсов, пф
иди подели их на любом решении без облака
хочешь о таком не думать - добро пожаловать в сноуфлейк, он тебе развернет столько мощи, сколько надо, лишь бы денег хватило
в хадупчике есть много спорных решений, а уж если пытаться использовать его как серебряную пулю то ваще жесть - но вот про дележку ресурсов, пф
иди подели их на любом решении без облака
хочешь о таком не думать - добро пожаловать в сноуфлейк, он тебе развернет столько мощи, сколько надо, лишь бы денег хватило
IK
Ну смотри... Вчера у меня парадеятелей нагнули кластер запустив job. А вот поменять приоритет этого джоба никак налету нельзя... В итоге трифты на hbase выпилились пока нагрузка на ИО 90% была
про гибкость и hbase, видимо вы не разделили хосты на которых batch job была и hbase крутился? или там была нагрузка на скан hbase?
MB
там джоба, запущенная через ярн, выполняла в TEZ работу с таблицей hbase на всех регион серверах
MB
какой-то insert, если верить TEZ'y