Size: a a a

2021 March 11

EG

Eduard Generalov in E.L.K.
Evgeniy Mihaylovsky
А он умеет в автоматический бэкап?
Крон?
источник

PS

Pavel Shepelev in E.L.K.
Коллеги, всем доброго времени суток.
Может кто-то сможет подсказать, бьюсь уже который день, перечитал всё, что гуглится (а гуглится по похожей проблеме немало).
Смысл следующий, пытаюсь настроить filebeat отправлять логи напрямую в elastic от нескольких модулей в разные индексы и, вместе с этим, настроить для этих индексов ILM.
Пример конфига filebeat
 indices:
   - when.equals:
       service.type: "system"
     setup.manage_template: true
     setup.tamplate_name: "system"
     setup.ilm.enabled: true
     setup.ilm.rollover_alias: "system"
     setup.ilm_pattern: "{now/d}-000001"
     setup.ilm_policy: "system_policy"
     index: "system-%{+yyyy.MM.dd}"


   - index: "nginx-%{+yyyy.MM.dd}"
     when.equals:
       service.type: "nginx"
     setup.ilm.enabled: true
     setup.ilm_policy: "nginx_policy"
     setup.ilm.rollover_alias: "nginx"
     setup.ilm_pattern: "{now/d}-000001"

   - index: "audit-%{+yyyy.MM.dd}"
     when.equals:
       service.type: "auditd"
     setup.ilm.enabled: true
     setup.ilm_policy: "audit_policy"
     setup.ilm.rollover_alias: "audit"
     setup.ilm_pattern: "{now/d}-000001"
источник

PS

Pavel Shepelev in E.L.K.
Создал тимплейт, создал политику и повесил её на тимплейт, но индексы в упор не создаются с префиксом {now/d}-000001 как это вроде-бы требуется.
В итоге ошибка illegal_argument_exception: index.lifecycle.rollover_alias [] does not point to index []
Может кто-то может подсказать куда смотреть? (
источник

Н

Николай in E.L.K.
в темплейте на стороне елк. указал алиас и политику?
источник
2021 March 12

PS

Pavel Shepelev in E.L.K.
Николай
в темплейте на стороне елк. указал алиас и политику?
Ну, вроде как, да...
источник

Н

Николай in E.L.K.
кхм.  странно тогда. по идее все верно
источник
2021 March 13

P

PUND in E.L.K.
Pavel Shepelev
Коллеги, всем доброго времени суток.
Может кто-то сможет подсказать, бьюсь уже который день, перечитал всё, что гуглится (а гуглится по похожей проблеме немало).
Смысл следующий, пытаюсь настроить filebeat отправлять логи напрямую в elastic от нескольких модулей в разные индексы и, вместе с этим, настроить для этих индексов ILM.
Пример конфига filebeat
 indices:
   - when.equals:
       service.type: "system"
     setup.manage_template: true
     setup.tamplate_name: "system"
     setup.ilm.enabled: true
     setup.ilm.rollover_alias: "system"
     setup.ilm_pattern: "{now/d}-000001"
     setup.ilm_policy: "system_policy"
     index: "system-%{+yyyy.MM.dd}"


   - index: "nginx-%{+yyyy.MM.dd}"
     when.equals:
       service.type: "nginx"
     setup.ilm.enabled: true
     setup.ilm_policy: "nginx_policy"
     setup.ilm.rollover_alias: "nginx"
     setup.ilm_pattern: "{now/d}-000001"

   - index: "audit-%{+yyyy.MM.dd}"
     when.equals:
       service.type: "auditd"
     setup.ilm.enabled: true
     setup.ilm_policy: "audit_policy"
     setup.ilm.rollover_alias: "audit"
     setup.ilm_pattern: "{now/d}-000001"
Прошу прощения, а для чего одновременно используются дата в имени индекса и rollover policy?
источник
2021 March 20

EM

Evgeniy Mihaylovsky in E.L.K.
Подскажите, а тут можно указать несколько fields type?
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Evgeniy Mihaylovsky
Подскажите, а тут можно указать несколько fields type?
Tatiana есть возможность подсказать?
источник

R

Reykjanes in E.L.K.
Evgeniy Mihaylovsky
Tatiana есть возможность подсказать?
Насколько мне известно, поле type одно на каждый источник логов
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Чисто теоретически, я могу указать такой же источник и задать ему другой fields type?
источник

D

Dmitriy in E.L.K.
fields.type - это же просто кастомное поле, разве нет? передавай в него все что хочешь - строку, массив, вложенные поля... токо с массивами в эластике нормально не поработаешь, ну и не влети на конфиг маппинга
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Dmitriy
fields.type - это же просто кастомное поле, разве нет? передавай в него все что хочешь - строку, массив, вложенные поля... токо с массивами в эластике нормально не поработаешь, ну и не влети на конфиг маппинга
Мне это требуется для того что бы словить ещё отдельный тип в логстеш и грокнуть nginx error and access nginx из контейнера
источник

D

Dmitriy in E.L.K.
так, честно говоря, не понял, зачем тебе вообще понадобились fields. ты хочешь ловить данные конкретных контейнеров\сервисов?
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Ну смотри. У меня в данный момент файлбит собирает всю конфу в один индекс. Индекс swarm. В этом индексе есть данные от nginx, с помощью fields и грока я хочу их выловить и поместить в отдельный индекс. Паттерн уже есть
источник

D

Dmitriy in E.L.K.
тогда все проще. подключи на бите процессор add_docker_metadata, а на логстеше поставь фильтры на лейблы
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Dmitriy
тогда все проще. подключи на бите процессор add_docker_metadata, а на логстеше поставь фильтры на лейблы
А мы вроде пробовали. Он вроде не корректно отрабатывает со своромом.
источник

D

Dmitriy in E.L.K.
не замечал. у меня пяток сворм-кластеров точно нормально собираются. попробуй все же, будут проблемы - опиши
источник

EM

Evgeniy Mihaylovsky in E.L.K.
Dmitriy
не замечал. у меня пяток сворм-кластеров точно нормально собираются. попробуй все же, будут проблемы - опиши
Можешь конфиг продемонстрировать?
источник

D

Dmitriy in E.L.K.
на работе осталось) в понедельник напомни
источник