у кого логсташ в докере, знаете ли вы как распарсить сообщения с docker logs? а то там простыня текста постоянно

тебе нужно получать дату события и сообщении, или ты хочешь парсить сообщения по полям по максимуму?

по максимуму

но вообще я сначала хотел знать как понять все что происходит внутри логсташа через docker logs

тогда очевидный ответ - написать парсеры под каждую софтину, которая у тебя крутится в докере

а, если у тебя там свежая ёлка - то она льёт логи в json - просто прогони их через фильтр

меня пока интересует одно - как читать логи логсташа через docker logs

ну, например так - https://stedolan.github.io/jq/

не хочешь ставить сторонний софт - мучай sed

так это логи софта, а не логстеша

поправочка - контейнера, в котором логстеш

поправочка - логи софта, которые попали в логи логстеша, который попал в лог контейнера. однофигственно, это логи софта. пиши кастомные паттерны...

понял

а у файлбита может быть несколько filebeat.autodiscoverов в одном файле?

да

Короче. Оказалось все просто. Батчи работали криво. (читай вообще не работали)

Поправили батчинг. Уменьшили к-во потоков. Батч стал быстрее набираться и в целом пропускная способность выросла

filebeat.autodiscover:
  providers:
    - type: docker
      fields:
        file: true
      templates:
        - condition.or:
            - contains.docker.container.image: "mysql1"
            - contains.docker.container.image: "mysql2"
            - contains.docker.container.image: "redis"
          config:
            - type: container
              paths:
               - /var/lib/docker/containers/${data.docker.container.id}/*.log

filebeat.autodiscover:
  providers:
    - type: docker
      fields:
        file: true
      templates:
        - condition.or:
            - contains.docker.container.image: "nginx"
          config:
            - type: docker
              containers.ids:
                - "${data.docker.container.id}"
            - module: nginx
              access:
                enabled: true
                containers:
                    stream: "stdout"
              error:
                enabled: true
                containers:
                    stream: "stderr"

правильный ли конфиг?

а может попробуешь запустить и проверить?

файлбит запускается. непонятно лишь почему не работает так как я думал