вот как здесь к примеру, оставить только значение vpntunnel="vpn-gch", а остальное все удалить/не передавать в elastic?

сори за глупый вопрос как сделать raw output?

почитай в доках

в лог или в файл выводи

и тебе вон выше посоветовали через kv парсить

да сейчас пробую

мне что посоветуйте?)

почитай про mutate

и про фильтры вообще

я читал. вот теперь не могу понять. если message подпадает под паттерн(regex) как его переписать или удалить вообще

а не случайно онлайн сервиса где можно было бы писать конфиг для логсташа и чтоб он на лету показывал итог?

grok parser точно есть

это да

а чтобы в output отправлялась строка только прошедная if, после условия нечего не нужно добавлять?
if [message][msg] == "progress IPsec phase 2" and [message][result] == "OK" {}

это будет работать?

Господа подскажите пожалуйста на какой козе начать подъезжать к к проблеме. Логи приходят через логстеш и кладутся в индекс эластика.
Есть 5% типов логов которые забивают 95% места.
Эти логи зачастую не нужны.
У них разные хостнеймы и немного отличаются переменные но в общем и целом они очень похожи (примерно 90% содержимого совпадает)

Можно ли как-то вывести +- похожие логи и их количество с сортировкой по убыванию количества документов в индексе.

Кладите нужные в один индекс, а ненужные в другой. Ненужные индексы удаляйте сразу как только они становятся не нужны.

то что не нужно по if отправлейте в drop https://www.elastic.co/guide/en/logstash/current/plugins-filters-drop.html

Проблема в том чтобы определить какие логи нужные а какие не нужные т.к. падают и нужные и ненужные с одного устройства. А для того чтобы как Вы, коллеги,  правильно указали дропать или заворачивать ненужные логи в drop или другой индекс нужно написать паттерны. А вот эти паттерны как раз написать не получается не зная на какие типы сообщений приходится 95% мусора

Раньше просто прокручивал таблику и визуально искал каких логов больше всего