мб поможет

все индексы передут в hot фазу, т.е. проживут еще max age hot + timing delete. есть подозрение, что могут еще выпасть в ошибку ротации и не удалиться. лучше руками

обязателен ли ilm_pattern в logstash пайпе?

нет

да, но если я не укажу его, все создаваемые логи с привязанной политикой будут иметь {now/d}-000001 в конце. как этого избежать?

не использовать ilm

значит удалять индексы придется вручную. ну ок, спасибо

а как ты планируешь ротировать индексы? добавлением даты?

никак. в моём случае ротация вообще не нужна, ибо у нас скрипт который опрашиват опред. индексы и шлет нотификацию в телеграм. с ротацией каша будет. просто хотелось, чтобы индексы дропались при достижении опред. размера.

без ротации с таким подходом ты никогда не сможешь быть уверенным, что у тебя есть логи. может, они тллько что удалились) может, стоит допилить скрипт?

возможно.

hosts => "http://elasticsearch:9200"
                user => "system"
                password => '*****'
                ilm_enabled => true
                ilm_rollover_alias => "test-trade2"
                ilm_policy => "generic"
                template_overwrite => true

почему-то политика к индексу не прикрепляется. сама политика существует. почему так?

в общем, проблема крылась в ilm_rollover_alias. почему-то если он был таким же, как индекс с ilm_enabled => false, политика не прикреплялась даже после удаления индекса

у меня elk все на одной ноде есть смысл использовать Warm phase в index lifecycle policy https://prnt.sc/pwfdjl   ? или можно отключить

в принципе - нет. для одного хоста после ротации есть смысл указывать cold если не хватает памяти и delete

Подскажите все ли я верно делаю, мне надо удалять старые индексы. Создаю index lifecycle policy https://prnt.sc/pwplg6   и template

GET _template/logstash-7.3.0

{
  "logstash-7.3.0" : {
    "order" : 0,
    "index_patterns" : [
      "logstash-*"
    ],
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "logstach"
        }
      }
    },
    "mappings" : { },
    "aliases" : { }
  }
}

но индексы не удаляються и в них есть ошибка https://prnt.sc/pwpomk проблема в том что есть алиаса как я понял. Вопрос как правильно еге создать?

так. насколько я понял - ротация у тебя идёт за счет паттерна ГГГГ.ММ.ДД в индекснейм на стороне логстеша, ilm ты там не указываешь. так?

Кстати проверил. действительно падают в ошибку. при перезаписи политики старые индексы дополнительно нужно руками перевести в следующую фазу.

у меня fluentd пишет в elasticsearch на прямую  https://paste.ofcode.org/dmv7SkQp7Wbcbx6AXFtnD5 он созает индексы с именами по принципу logstash-ГГГГ.ММ.ДД
template созздавал так

PUT _template/logstash-7.3.0
{
  "index_patterns": ["logstash-*"],                 
  "settings": {
    "index.lifecycle.name": "logstach" 
  }
}

он покрывает все индексы logstash-*

я так понимаю что проблема в том что у индексов нету алиаса но индексы создаються напрямую fluentd в еластик