Size: a a a

2021 June 11

V

Victor in Elasticsearch
У меня тоже DevOps думает, что Vault это аналог Ноутпада. Вы спросили, я Вам посоветовал самый простой вариант, если Вам он не подходит - к сожалению ничем помочь не могу ;)
источник

ДК

Дмитрий Красавцев... in Elasticsearch
Видимо он определил как вторую ноду и теперь начал дублировать инфу. Это и есть главная фишка, если один сервер умрет, то остальные будут поддерживать работоспособность. Я такого не делал просто читаю чат иногда, но эластик не любит когда индекс только на одном сервере, пишет статус желтый, если принудительно не указать что одна нода, это нормально. Может чего и не правильно сказал, я так понимаю
источник

V

Victor in Elasticsearch
значит это была не последняя нода кластера и в настройках индекса была как минимум replica 1+. Тоесть это нормальное поведение в кластере
источник
2021 June 12

ES

Eduard SEMYKIN in Elasticsearch
Всем привет, надеюсь никого не разбудил. Есть вопросик по файлбиту.
Есть кейс когда прилетает огромный кусок лога, его файлбит склеивает в батч, и размер батча оказывается больше, чем размер входящего сообщение в эластик.
Сам файлбит циклится с ошибкой 413 и пытается преотправить бесконечно.
Внимание сам вопрос:
1) max_retries написано, что для фалбита бесконечен, можно ли как-то обойти и сделать так, чтобы событие дропнулось из очереди ибо сам файлбит в этот момент перестаёт отправлять другие события
2) может есть другие бест практиз, чтобы на входе отсеять эту штуку.
источник

S

Sergei F. in Elasticsearch
а если использовать compression_level?
источник

F

Finn in Elasticsearch
Если известно, какое из полей эвента такое толстое, можно применить транк процессор
https://www.elastic.co/guide/en/beats/filebeat/current/truncate-fields.html
источник

ES

Eduard SEMYKIN in Elasticsearch
Такие всплески не так часты и являются скорее аномалией, после которой мы точечно разбираем зачем столько лога, и тут вопрос стабильности скорее и чтобы не терять логи остальные, пока ретрай залочена впринципе отправка просто
источник

ES

Eduard SEMYKIN in Elasticsearch
Круть почитаю спасибо
источник

М

Марк Егоров... in Elasticsearch
Так, подскажите такую штуку: когда настраиваю первый раз elk, то filebeam мне вдувает всю пачку логов с папки, которая удовлетворяет маске.

А в индекс паттернах есть "удалить индекс". И после этого всё очищается.

А как мне заново вдуть все логи? Например, я что-то неправильно сделал - и хочу всё заново перезалить
источник

N

Nekki in Elasticsearch
Останови filebeat, потом удали полностью директорию /var/lib/filebeat , там хранятся указатели на все файлы, которые процессились файлбитом.
источник

O

Oleg in Elasticsearch
папка {path.home}/data
источник

O

Oleg in Elasticsearch
там хранится кеш как правило
источник

O

Oleg in Elasticsearch
это либо
/var/lib/filebeat
либо
/usr/share/filebeat
источник

М

Марк Егоров... in Elasticsearch
Ага. Большое спасибо.
источник

М

Марк Егоров... in Elasticsearch
И еще вопросец: пытаюсь ща влить gzip файло и не совсем понял, что такое :

 processors:
 - decompress_gzip_field:
     field:
       from: "field1"
       to: "field2"
     ignore_missing: false
     fail_on_error: true


field1 и field2. Это просто названия файлов?
источник

М

Марк Егоров... in Elasticsearch
Что за поля
источник

O

Oleg in Elasticsearch
это именно если само поле у тебя в gzip а не файл. ты тогда указываешь какое поле содержит gzip информацию и в какое новое поле ее распаковать
источник

O

Oleg in Elasticsearch
собственно процессор по этому так и называется decompress gzip field
источник

М

Марк Егоров... in Elasticsearch
аааа, а gzip тогда он, filebeat, хавает?
источник

М

Марк Егоров... in Elasticsearch
Точнее, я вижу, что они вроде впилили поддержку, но не вижу, как ее задать. Может изкаробки, а может отдельная инструкция нужна
источник