ST
process_exporter, спасибо
👍🏻
node_exporter --collector.processes так не умеет?Size: a a a
2020 February 19
VL
а
AS
а
node_exporter --collector.processes так не умеет?выглядит будто бы оно вообще про другое
K
Приветствую, комрадс!
Занимался нагрузочным тестированием prometheus в k8s ( со стандартной TSDB, которая определена в promtheus-operator ).
Поставил тест и пошел пить чай. Когда пришел, прометей в циклической перезагрузке, т.к. пытается загрузить все данные из TSDB в RAM, ему не хватает RAM, OOM-killer его грохает и так по кругу.
Нагрузочный тест конечно отключил, но как почистить TSDB от тестовых логов не знаю (контейнер не поднимается, поэтому через REST не могу его почистить).
Может быть можно как-то загрузить прометей, чтобы он не выедал всю память (с каким-то спецефическим флагом)?
Вопросы:
1) Кто-нибудь может подскзать, как почистить TSDB от ненужных метрик, если
2) С помощью Victoria Metrics( или Thanos например) можно же избежать подобных проблем (переполнение памяти) ? Если есть уже описанные подобные кейсы, просьба кинуть линк.
Занимался нагрузочным тестированием prometheus в k8s ( со стандартной TSDB, которая определена в promtheus-operator ).
Поставил тест и пошел пить чай. Когда пришел, прометей в циклической перезагрузке, т.к. пытается загрузить все данные из TSDB в RAM, ему не хватает RAM, OOM-killer его грохает и так по кругу.
Нагрузочный тест конечно отключил, но как почистить TSDB от тестовых логов не знаю (контейнер не поднимается, поэтому через REST не могу его почистить).
Может быть можно как-то загрузить прометей, чтобы он не выедал всю память (с каким-то спецефическим флагом)?
Вопросы:
1) Кто-нибудь может подскзать, как почистить TSDB от ненужных метрик, если
prometheus не запускается ?2) С помощью Victoria Metrics( или Thanos например) можно же избежать подобных проблем (переполнение памяти) ? Если есть уже описанные подобные кейсы, просьба кинуть линк.
AS
1. в нагрузочном тестировании напиши -- не прошёл.
2. да но нет. пром всё равно сдохнет когда получит овермиллион кардиналити. но смысл ведь в том что бы понять когда именно он склеит ласты и держаться ниже этого числа
2. да но нет. пром всё равно сдохнет когда получит овермиллион кардиналити. но смысл ведь в том что бы понять когда именно он склеит ласты и держаться ниже этого числа
K
1. в нагрузочном тестировании напиши -- не прошёл.
2. да но нет. пром всё равно сдохнет когда получит овермиллион кардиналити. но смысл ведь в том что бы понять когда именно он склеит ласты и держаться ниже этого числа
2. да но нет. пром всё равно сдохнет когда получит овермиллион кардиналити. но смысл ведь в том что бы понять когда именно он склеит ласты и держаться ниже этого числа
2. Собственно ради этого и проводил тестирование..
AS
раз это было нагрузочное забейте на этот пром. его уже не спасти
AS
если же данные оттуда хочется спасти начните с чистки wal диры
A
> Занимался нагрузочным тестированием prometheus
я же правильно угадал что ты в него писал метрики с рандомными лейблами?
я же правильно угадал что ты в него писал метрики с рандомными лейблами?
K
раз это было нагрузочное забейте на этот пром. его уже не спасти
оххх, досадно…
А причина, почему грохнулся, потому что он хранит TSDB в памяти (или чем он всю память забил) ?
А причина, почему грохнулся, потому что он хранит TSDB в памяти (или чем он всю память забил) ?
AS
оххх, досадно…
А причина, почему грохнулся, потому что он хранит TSDB в памяти (или чем он всю память забил) ?
А причина, почему грохнулся, потому что он хранит TSDB в памяти (или чем он всю память забил) ?
нет. он хранит индекс в памяти
K
> Занимался нагрузочным тестированием prometheus
я же правильно угадал что ты в него писал метрики с рандомными лейблами?
я же правильно угадал что ты в него писал метрики с рандомными лейблами?
Ну лейблы рандомные утилита генерит при старте, далее они повторяются при обновлении данных
AS
и этот индекс дорос до состояния когда в него уже не впихнуть
A
Ну лейблы рандомные утилита генерит при старте, далее они повторяются при обновлении данных
сколько миллионов уникальных таймсерий было?
K
сколько миллионов уникальных таймсерий было?
Не знаю , я пришел - уже все лежало
AS
Ну лейблы рандомные утилита генерит при старте, далее они повторяются при обновлении данных
в таком тесте очень не много смысла. такие данные не будут жаться. реальные данные будут очень сильно отличаться от вашей синтетики
A
как это "не знаю"?
A
а генерилка никуда не записывала, что ли?
K
а генерилка никуда не записывала, что ли?
первым делом я ее убил, сейчас залезу в elk поищу ее логи
K
в таком тесте очень не много смысла. такие данные не будут жаться. реальные данные будут очень сильно отличаться от вашей синтетики
ясно, учту при следующих итерациях