Вы по каким условиями хотите определять нужные они или нет?

Если не формализованно то на гроке по паттернам
$hosnmame AAA User auth 1 000 000 логов за 24 часа  - не нужно дропаем
$hosnmame critical error code $codenumber 900 000 логов за 24 часа - нужно, пропускаем
$hosnmame medium error code $codenumber 800 000 логов за 24 часа -  не нужно дропаем

А вот как раз получить топ более-менее похожих логов никак не получается

Можно конечно попробовать экспортнуть все логи в один файл и посчитать их "похожесть" каким-нибудь алгритмом на каком-нибудь ЯП. Но я решил спросить вдруг в эластике уже есть какой-нибудь хитрый инструмент или запрос (боюсь изобрести велосипед)

Скорее всего есть, но я его не знаю. Потому что стараюсь делать так, чтобы ненужные даже до логсташа не доходили, а пропускались ещё на стадии файлбита (

Обычно это получается сделать после беседы с админами. Вам эти сообщения нужны? Да. Зачем? Какие алерты по ним будут или анализ?

Да, подход правильный. Я бы тоже так делал только у меня там зоопарк из кучи вендоров и сотен железок потому такой подход не проканал (хотя я на него изначально наивно надеялся :))

Мне очень жаль. Но на первый взгляд вижу вариант делить по зоопарку, слонов в один индекс, косуль в другой, уборщиков в третий. Да ну всегда есть варианты. К разным событиям лепить логсташем разные теги и уже смотреть по тегам количество, или может ещё на стадии разделения по вендерам/железкам найдёте что срет.

Просто очень странное описание если честно, вы уверены что 95% не нужны, но не знаете какие)

Может я не совсем корректно описал проблему.  Попробую перевести на цифры
Всего есть 1000 типов сообщений в 100 000 логов
Из них
100 типов сообщений - 95 000 логов
900 типов сообщений 5 000 логов

Задача - получить эти самые 100 типов сообщений составляющие 95 000 логов для их изучения

Если бы они были полностью одинаковые то я бы просто воспользовался одним из 2 вариантов
1) Упорядочил их по алфавиту по возрастанию и посмотрел бы на таблицу на предмет больших массивов одинковых сообщений
2) Сделал бы квери подсчитать количество одинаковых сообщений в каждой категории

Но каждый лог имеет в своем составе переменные (например хостнейм) которые меняются и иногда сам лог начинается с них. Потому ни один из этих вариантов не сработает. При этом все сообщение лежит в филде message и не парсится на отдельные филды по которым можно делать какую-либо фильтрацию.

Как-то так, надеюсь кто-нибудь поймет.

В индексе есть документ, у которого есть поле
category = ["Питомцы", "Корм"].
Делаю такой explain запрос(см скрин), и почему то boost=10 не применяется, т.е. категория ни как не влияет на итоговый score. Что я не делаю не так?

подскажите почему ругается на этот тег? я же его создаю

Это к тебя условие, что если тэг в принимаемых данных, то класть в указанный индекс

спасибо уже разобрался. он ругался на индекс потому что в  матче выше не закрыл ковычку...

Filter отличается от must тем, что не влияет на score. Профит от этого в том, что список документов может быть компактно сохранен в bitset и закеширован при достижении ряда условий. Если нужен score, то надо в must перенести

Получилось! спасибо 👍

подскажите пожалуйста, как после фильтра kv обратиться к его значению в if? пробовал "field", %{"field"} и [message][field]

Коллеги, в filebeat.yml есть такая конструкция:

logging.level: error
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0644

но filebeat продолжает писать свои логи в /var/log/messages, игнорируя конфиг.

чяднт?

Всем привет. Подскажите плиз у меня в индексе 2 типа. Я начинаю скролить индекс, и начать хочу со второго типа, но что бы я не пробовал всегда прилетают доки 1 типа, а потом только нужного мне. Есть ли в ластике приоритет типов или что-то на подобии

винтаж

Приветствую, почему может кидаться index_is_closed во время копирования из одного elastic на другой(локальный)? Причём похоже пара индексов проходит, а дальше index_is_closed для остальных

Может, параметры командной строки какие-то есть? -e или еще что-то подобное, как запускается файлбит?