Телеграмм чат группы elasticsearch

Size: a a a

Elasticsearch

2021 December 14

Вообще я крутил это:

output {
  if [event][type] == "suricata" {

в 30_output_elasticsearch.logstash.conf

и в else закомментирова всё, кроме
hosts и добавил index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+dd.MM.YYYY}"

источник

10:53пожаловаться #1

Vovan in Elasticsearch

Перечитал сообщение, сорри

источник

10:54пожаловаться #2

Denis Kravchenko in Elasticsearch

У меня приходят данные, но парсинг некорректный...
Я пока ещё слабоват скиллом.

источник

10:54пожаловаться #3

Solyar in Elasticsearch

Vovan in Elasticsearch

https://github.com/robcowart/synesis_lite_suricata/blob/master/filebeat/filebeat.yml судя по конфигу filebeat только читает данные. Надо понять какую версию filebeat они использовали для этих фильтров

GitHub

synesis_lite_suricata/filebeat.yml at master · robcowart/synesis_lite_suricata

Suricata IDS/IPS log analytics using the Elastic Stack. - synesis_lite_suricata/filebeat.yml at master · robcowart/synesis_lite_suricata

источник

10:55пожаловаться #5

Vovan in Elasticsearch

я бы начал с сырого сообщения от filebeat и шел бы по фильтрам logstash

источник

10:57пожаловаться #6

Denis Kravchenko in Elasticsearch

7.1.x я так предполагаю
7.1.1 последняя

источник

10:58пожаловаться #7

Vovan in Elasticsearch

у вас такая же версия компонентов?

источник

10:59пожаловаться #8

Denis Kravchenko in Elasticsearch

7.15.2

источник

11:00пожаловаться #9

Vovan in Elasticsearch

попробуйте версию 7.1.1, все-таки за > 15 версий много могло измениться

источник

11:00пожаловаться #10

Sergei F. in Elasticsearch

индекс создался?

источник

11:08пожаловаться #11

Denis Kravchenko in Elasticsearch

Индекс создался, данные есть.
Логи от suricata есть.

Вопрос в том, как мне получить system логи и тд и тп, кроме логов suricata?

источник

11:10пожаловаться #12

Aleksandr Dorokhin in Elasticsearch

вот чем дело закончилось, оставил наскальную надпись потомкам

https://stackoverflow.com/a/70344828

Stack Overflow

elasticsearch on kubernetes - discovery of nodes

We are attempting to run Elasticsearch on top of a kubernetes / flannel / coreos cluster.

As flannel does not support multicast, we cannot use Zen multicast discovery to allow the nodes to find each

источник

11:10пожаловаться #13

Denis Kravchenko in Elasticsearch

У меня было и есть предположение, что не обрабатывается условие
if [event][type] == "suricata" {, сразу идёт в else

источник

11:10пожаловаться #14

Sergei F. in Elasticsearch

но ведь суриката отдельно, system отдельно

просто подели на разные пайплайны

источник

11:17пожаловаться #15

Denis Kravchenko in Elasticsearch

Так и делал изначально:

- pipeline.id: main
  path.config: "/etc/logstash/conf.d/logstash-sample.conf"
  pipeline.workers: 16
- pipeline.id: synlite_suricata
  path.config: "/etc/logstash/synlite_suricata/conf.d/*.conf"
  pipeline.workers: 16

[2021-12-14T11:20:59,122][INFO ][org.logstash.beats.Server][synlite_suricata][input_beats] Starting server on port: 5044
[2021-12-14T11:21:05,134][ERROR][logstash.javapipeline ][synlite_suricata][input_beats] A plugin had an unrecoverable error. Will restart this plugin.

источник

11:20пожаловаться #16

Sergei F. in Elasticsearch

ну а в логах логстеша написано что оба пайплайна стартанули?

источник

11:21пожаловаться #17

Lev Tkach in Elasticsearch

а сколько памяти аллоцировано эластику? какой размер индексов?

источник

11:21пожаловаться #18

Denis Kravchenko in Elasticsearch

Затупил... исправил пост.