Size: a a a

2020 February 06

EA

Evgeny A in Data Engineers
Привет, где я могу включить снятие метрик по jmx в hive2 ?
источник

ME

Mikhail Epikhin in Data Engineers
Evgeny A
Привет, где я могу включить снятие метрик по jmx в hive2 ?
'hive.server2.metrics.enabled': 'true'
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
'hive.server2.metrics.enabled': 'true'
Спасибо. А помимо этого?
источник

ME

Mikhail Epikhin in Data Engineers
Evgeny A
Спасибо. А помимо этого?
Какую задачу вы решаете?
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
Какую задачу вы решаете?
у меня чет на одном хайве всего 20 метрик снимается из 100+, на втором, аналогичном - 189 метрик
источник

ME

Mikhail Epikhin in Data Engineers
Evgeny A
у меня чет на одном хайве всего 20 метрик снимается из 100+, на втором, аналогичном - 189 метрик
Снимается чем-то? Какой системой мониторинга пользуетесь?
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
Снимается чем-то? Какой системой мониторинга пользуетесь?
снимается zbx - jmx, web agent
источник

ME

Mikhail Epikhin in Data Engineers
Тогда стоит в его логи глянуть, скорее всего проблема либо в агенте, либо в самом zbx
источник

PA

Polina Azarova in Data Engineers
так можно узнать сколько конкретно метрик отдает сервис
curl <my_awesome_hive_server>:<jmx_port> | grep -v "#" | wc -l
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
Тогда стоит в его логи глянуть, скорее всего проблема либо в агенте, либо в самом zbx
сомневаюсь, т.к. один выдает api_optimizer, другой нет
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
Тогда стоит в его логи глянуть, скорее всего проблема либо в агенте, либо в самом zbx
"name" : "metrics:name=api_optimizer", на втором если поискать по raw json, то ничего не находится
источник

EA

Evgeny A in Data Engineers
Ну и вообще в первом случае по metrics 212 matches, во втором 118
источник

PA

Polina Azarova in Data Engineers
если напрямую на порт  JMX сходить курлом, то получится такое же количество метрик?
источник

ME

Mikhail Epikhin in Data Engineers
Ну это может быть нормально, т.к. в один могла приходить нагрузка и построились метрики, в другой не приходила
источник

ME

Mikhail Epikhin in Data Engineers
Можете построить diff между двумя хостами по названиям метрик?
источник

EA

Evgeny A in Data Engineers
Mikhail Epikhin
Можете построить diff между двумя хостами по названиям метрик?
могу, я то же об этом думал, что если нагрузка не пришла на определенный узел, то и метрики не будет. Но правильно  было бы все же показывать, хотя бы по нулям, метрику (может и включается пустая метрика какой нибудь ручкой) даже если нагрузки на определенный узел не поступало
источник

як

я никуда не тороплюсь когда напьюсь тогда напьюсь in Data Engineers
Anton Zadorozhniy
они останутся конечно, но будет их столько же как людей которые брали воду из колодца
:-) хорошее сравнение. Мне почему-то казалось, что облака - не наша тема. Тем более у амазона трафик дорогой вроде был.
источник

як

я никуда не тороплюсь когда напьюсь тогда напьюсь in Data Engineers
Anton Zadorozhniy
железе все давно уже тоже в софте, вы пропустите нормальную работу с сетевкой, стораджем
Я челика из Мегафона склонял к софтверным датацентрам, а он всё в олдскул пытался вырваться
источник

як

я никуда не тороплюсь когда напьюсь тогда напьюсь in Data Engineers
Anton Zadorozhniy
amazon emr, google dataproc - выбирайте
Дорого и там и там, нет?
источник

ME

Max Efremov in Data Engineers
я никуда не тороплюсь когда напьюсь тогда напьюсь
:-) хорошее сравнение. Мне почему-то казалось, что облака - не наша тема. Тем более у амазона трафик дорогой вроде был.
Кстати да, что-то я прикинул, выкачать 1 терабайт стоит около 90 долларов...
источник