logstash это условно севрерная часть, которая занимается обработкой ( если это нужно) входящих логов и пишет их в еластиксеарч, и например умеет по протоколу syslog работать, а биты на клиентской стороне(Веб сервер например) и пишут сразу в еластиксеарч. Там все условно, и делай так как тебе нужно. Там нет нечего обязательного.

Надеюсь не соврал

спасибо, я просто гляжу по разным статьям в конфигах бита на клиентах зашивают адрес logstash

к примеру так

Некоторые использую файлбит что бы использовать готовый модуль, что бы самому не писать грок.

в первую очередь разница не в модулях, а в потребляемых ресурсах. биты легковесные, задача - забрать логи с сервера, минимально аффектя на основное приложение. Логстеш у нас как бы ресурсов кушает как не в себя, с легкостью можно положить соседний приклад нагрузкой, поэтому всю обработку и выносят на отдельные хосты.

У нас эластик и логстеш на одном хосте. И нормально

эластик и логстеш - да. а вот логстеш и приклад-источник - это уже что-то, близкое к извращениям =)

У кого-то был опыт стыковки filebeat в режиме Daemonset с логами nginx в кубере?

Никак не могу заставить файлбит нормально json читать из лога. Читает как строку

processors:
 - decode_json_fields:
     fields: ["message"]

Не помогает

В логах сыпет ошибками вида:

Error decoding JSON: invalid character '"' after object key:value pair

лишний " ?

Там обычный экранированный.

{"time_local":"09/Aug/2021:13:45:07 +0000","time_iso8601": "2021-08-09T13:45:07+00:00","remote_addr": "....","remote_user": "","request": "GET / HTTP/1.1","status": "200","uri": "/","server_protocol": "HTTP/1.1","ssl_protocol": "","body_bytes_sent": "0","request_method": "GET","request_time": "0.023","request_length": "4033","upstream_addr": "....:80","upstream_status": 200","upstream_connect_time": "0.012","upstream_header_time":"0.024","upstream_response_time":"0.024","upstream_response_length":"0","http_referer":"","http_user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"}

Вот такое в индекс попадает в итоге

Сорри, ошибся чатом

Есть чат по meilisearch?

Поможите, люди бобрые
Ставлю хельм чарт metricbeat (7.14). Подсовываю конфиг

  metricbeatConfig:
    metricbeat.yml: |
      metricbeat.modules:
      - module: prometheus
        host: "0.0.0.0"
        port: "9201"
        metricsets:
          - remote_write
      output.elasticsearch:
        hosts: '${ELASTICSEARCH_HOSTS:elasticsearch-master:9200}'

Натравливаю пром в него, вроде все ок работает, но только первые 2-3 минуты, а потом контейнер просто завершается с exit code 0
В логах при этом

2021-08-10T13:59:34.023Z  INFO  [monitoring]  log/log.go:153  Uptime: 2m10.304298888s
2021-08-10T13:59:34.023Z  INFO  [monitoring]  log/log.go:130  Stopping metrics logging.
2021-08-10T13:59:34.023Z  INFO  [api]  api/server.go:66  Stats endpoint (127.0.0.1:5066) finished: accept tcp 127.0.0.1:5066: use of closed network connection
2021-08-10T13:59:34.023Z  INFO  instance/beat.go:479  metricbeat stopped.

То есть он будто бы сам просто завершается.
Как это лечить?

Кто-нибудь уже раскуривал OpenSearch? Сильно там трагическая разница между Dashboards и Кибаной?