Всем привет, кто может подсказать.
Последние пару дней наблюдается странное поведение у кластера. Например на графиках видно что падает время запроса, total operations rate, и на графике сети видно что как будто нагрузка падает. Но на самом деле наблюдаются большие задержки со стороны клиента и потом резко как будто опять увеличивается нагрузка и latency пропадает. Хотя нагрузка не менялась. Никто не знает почему так может быть?

Не видел нормальных, мы заказывали под себя

всем привет.
если кто сталкивался, то прошу подсказать что можно сделать. для некоторых индексов внезапно перестал работать ILM.

policies имеет корректную связь со всеми суточными индексами и даже находит что их количество 36.

по настройкам должно очистить после 15 дней, но держит уже 36 дней. в индексы ничего не пишется.

в этом же кластере есть несколько других настроенных lifecycle, там больше дней. но все очищается как положено, ничего лишнего не копится.

по статусу кластер зеленый, version 7.8.1.

можно чистить руками, но я ленивый

попробуй сделать

GET indexname/_ilm/explain

также поставь в параметрах удаление "days from rollover"

GET secret_2021.10.14/_ilm/explain

{
 "indices" : {
   "secret_2021.10.14" : {
     "index" : "secret_2021.10.14",
     "managed" : true,
     "policy" : "cleanup_policy",
     "lifecycle_date_millis" : 1637800203969,
     "age" : "11.45d",
     "phase" : "hot",
     "phase_time_millis" : 1637800204180,
     "action" : "complete",
     "action_time_millis" : 1637800204042,
     "step" : "complete",
     "step_time_millis" : 1637800204180,
     "phase_execution" : {
       "policy" : "cleanup_policy",
       "phase_definition" : {
         "min_age" : "0ms",
         "actions" : { }
       },
       "version" : 1,
       "modified_date_in_millis" : 1603462758040
     }
   }
 }
}

___

странно выглядит "age" : "11.45d"

и на 7.8.1 в настройках удаление нет такого параметра

Коллеги, может подскажете...
Filebeat рисует таймауты активности лог-файлов

File is inactive: ..... Closing because close_inactive of 5m0s reached.

У меня в Filebeat используется модуль postrgesql
Хочу увеличить этот параметр

close_inactive

но не знаю куда его нужно вписать. в какой конфиг? в доке не нашел куда, если это описывается через модуль.

вот конфиг filebeat.yml

output.logstash:
  hosts: ["ES1:5044", "ES2:5044", "ES3:5044"]
  loadbalance: true
setup.kibana:
  host: "KIBANAHOST:5601"
 
filebeat.config.modules:
  path: /etc/filebeat/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
 
logging.level: info
logging.metrics.enabled: false
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0644

То есть я пока только нахожу примеры конфигов
когда чтение логфайлов описано в filebeat.yml что-то вроде

- type: log
 enabled: true
 paths:
     - /usr/share/filebeat/logs/*/*.log
...  
 ignore_older: 2h
 close_inactive: 2h

Но для ситуации с использованием модулей не пойму куда это вписать.

решил в еластике включить security, создал через elastic пароли, вбил созданный пароль для кибаны в конфиг файл кибаны, ребутнул службы и кибана выпадает в такую ошибку. я понимаю что она ноет на не правильный пароль но почему так?
{"type":"log","@timestamp":"2021-12-06T16:22:33+03:00","tags":["error","savedobjects-service"],"pid":11911,"message":"Unable to retrieve version information from Elasticsearch nodes. security_exception: [security_exception] Reason: unable to authenticate user [kibana] for REST request [/_nodes?filter_path=nodes.*.version%2Cnodes.*.http.publish_address%2Cnodes.*.ip]"}

а юзер какой у кибаны? курлом попробуй под ним сходить.

Всем привет. Кто-нибудь пользовался ldap плагином для logstash?

Так кто знает ответ?

Я знаю

Поделитесь, а то проблема в том что мне никак не описать параметр глобально в конфиге.

У меня это через инпутсы

Такая конструкция глобальна ? Даже если сбор логов настроен через модули, верно?

Этот конфиг при запуске указываю