Size: a a a

2020 March 04

Н

Николай in E.L.K.
кхм..ну у меня н априер 1 входящий логстеш..который рассовывает в кролика...и пяток разных папйлпайнов в файлах разных на дроугом логстеше что обрабатывают
источник

D

Dmitry in E.L.K.
было бы интересно конфиг глянуть, а то у меня криво парсинг работает с ними
источник

Н

Николай in E.L.K.
а что криво?
источник

D

Dmitry in E.L.K.
прилетают логи с метадатой докера, а пайлпайн который должен в индекс логи засунуть, сортирующий по этой метадате, не пересылает их туда чет. при том что эта фигня только с логами от одного хоста. в логах логсташа видно что логи и метадата от файлбита прилетают
источник

D

Dmitry in E.L.K.
ща пример дам
источник

D

Dmitry in E.L.K.
if "nginx" in [container][name] {
       pipeline {
         send_to => nginx
       }
     }
- pipeline.id: 2_nginx
 queue.type: persisted
 pipeline.workers: 1
 path.config: "/usr/share/logstash/pipeline/nginx.conf"

/usr/share/logstash/pipeline/nginx.conf:

input {
   pipeline {
     address => nginx
   }
}

filter {

 grok{...
источник
2020 March 05

Н

Николай in E.L.K.
Dmitry
прилетают логи с метадатой докера, а пайлпайн который должен в индекс логи засунуть, сортирующий по этой метадате, не пересылает их туда чет. при том что эта фигня только с логами от одного хоста. в логах логсташа видно что логи и метадата от файлбита прилетают
попробуй логи с этого хоста в тесте положить в файл. и посмотри итоговый джейсон.может что с хостом не так и метадата тупо не передается
источник

AR

Antony Ryabov in E.L.K.
Dmitry
if "nginx" in [container][name] {
       pipeline {
         send_to => nginx
       }
     }
- pipeline.id: 2_nginx
 queue.type: persisted
 pipeline.workers: 1
 path.config: "/usr/share/logstash/pipeline/nginx.conf"

/usr/share/logstash/pipeline/nginx.conf:

input {
   pipeline {
     address => nginx
   }
}

filter {

 grok{...
без фильтров это все гадание на кофейной гуще, чтобы понять что не так, нужен весь конфиг и описание того, чего ты хочешь достичь.
полный конфиг можно в github gist залить
источник

AR

Antony Ryabov in E.L.K.
Antony Ryabov
без фильтров это все гадание на кофейной гуще, чтобы понять что не так, нужен весь конфиг и описание того, чего ты хочешь достичь.
полный конфиг можно в github gist залить
но вообще
stdout { codec => rubydebug }
всегда помогает в таких случаях
источник

D

Dmitry in E.L.K.
Николай
попробуй логи с этого хоста в тесте положить в файл. и посмотри итоговый джейсон.может что с хостом не так и метадата тупо не передается
все ок. оказалось, просто елк либо долго думала, либо у нас странно елк работает
источник

D

Dmitry in E.L.K.
типа событие появляется лишь спустя 5-6 минут после его актуального прибытия в логсташ. или это так кибана тупит, не поейму. по процу и озу все ок, всем хватает
источник

Н

Николай in E.L.K.
странно все равно както
источник

АК

Александр Крыжановский in E.L.K.
у меня логи определенной фигни пишутся с таймштампом отстающим на 3-12 минут

в итоге елк все втягивает своевременно и быстро, но т.к. таймштамп в прошлом - создается впечатление задержки
источник

D

Dmitry in E.L.K.
или может мультипайплайн так медленно работает
источник

Н

Николай in E.L.K.
а время на машинках с логстешем синхроннено? мождет отстает ?и поэтому кажется что задержка
источник

D

Dmitry in E.L.K.
у нас всего 1 машина с логстешем
источник

AR

Antony Ryabov in E.L.K.
Dmitry
или может мультипайплайн так медленно работает
логстеш отдает свои метрики на порту 9600, там есть тайминги, какой плагин сколько времени работает
источник

D

Dmitry in E.L.K.
о, спасибо
источник

D

Dmitry in E.L.K.
а если выбирать кодек для аутпута, что лучше json или rubydebug?
источник

AR

Antony Ryabov in E.L.K.
rubydebug
источник