AZ
диски это hdd или ssd ?
хорошие сети и SSD заткнут, которые для биг даты используются
Size: a a a
2021 February 09
AZ
и будет странно держать данные на SSD и иметь 1гбит сеть в узлах
AZ
Есть ли смысл разделить Престо на два физических кластера, для разных типов нагрузки?
ресурсные группы вам чем не подошли?
KS
ресурсные группы вам чем не подошли?
Там сначала идёт ETL, который генерит данные для аналитики. Если всё в куче, то аналитика и адхок занимают ресурсы и замедляют ETL.
KS
ETL на Престо сделали мастера ещё до меня.
AZ
а ресурсными группами развести не удается?
AZ
там основная проблема в механизме энфорсмента, он не умеет выкидывать запросы а только блокирует очереди.. если вы в это уперлись - только два разных кластера вас спасут
N
а зачем при таком сетапе вообще ставить Hadoop? не проще ли раскатить k8s поверх этих ресурсов, minio + spark on k8s + presto + superset? Вроде для всех технологий даже helm chart-ы есть
разорятся на ямл-программистах
Н
Слушайте, а может быть кто-нибудь с миррорил https://archive.cloudera.com/cdh6 все это дело
DZ
а зачем при таком сетапе вообще ставить Hadoop? не проще ли раскатить k8s поверх этих ресурсов, minio + spark on k8s + presto + superset? Вроде для всех технологий даже helm chart-ы есть
ключевое:
все на минималках+
раскатить k8s
ПБ
Друзья, а на клудерку 6.3 встает hadoop 3 или ставть hdp ? Спасибо!
A
что значит встаёт?
клоудера же сразу всё с собой приносит
клоудера же сразу всё с собой приносит
A
в принципе как и hdp
AZ
разорятся на ямл-программистах
и наплодят их еще больше, вот уж без кого мир станет лучше
KS
там основная проблема в механизме энфорсмента, он не умеет выкидывать запросы а только блокирует очереди.. если вы в это уперлись - только два разных кластера вас спасут
Понял, спасибо.
N
Никто вот такого треша не встречал? Ваниль 3.1.3.
N
ERROR resourcemanager.ResourceManager: Received RMFatalEvent of type STATE_STORE_FENCED, caused by org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
E
ну, кажется ошибка вполне красноречивая. Но по вопросу - не встречал
AZ
ERROR resourcemanager.ResourceManager: Received RMFatalEvent of type STATE_STORE_FENCED, caused by org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
Переключение RM
AZ
Посмотреть здоровье ЗК