D
ой, флюент... боль и страдания 😂... если плвнируешь сохранить эту ротацию, то отключи rollover в hot фазе. Тогда у тебя старт delete фазы будет считаться не от ротации, а от создания индекса, установи в 25 часов.
Size: a a a
2019 November 14
D
либо иди по официальному пути ilm - создавай alias 'logstash' для индекса logstash-000001, добавляй его к темплейту и перенастраивай флюент на запись по статичному имени alias.
AS
Dmitriy
ой, флюент... боль и страдания 😂... если плвнируешь сохранить эту ротацию, то отключи rollover в hot фазе. Тогда у тебя старт delete фазы будет считаться не от ротации, а от создания индекса, установи в 25 часов.
я вооьще Warm phase в index lifecycle policy для него отключил (на скрине выше видно) по переименованию буду смотреть fluentd тогда.
AS
Dmitriy
я говорил про Hot-фазу...
аа я понял, так? https://prnt.sc/pwr084 сейчас удаляю индекс и жду 2 часа
D
почти. у тебя сейчас индекс будет удаляться через час после СОЗДАНИЯ. это точно то, чего ты хочешь?
2019 November 17
DS
Привет.
Есть Python сервер, который принимает запросы, дает ответы. Есть Logstash. Какой лучше всего будет взять input plugin (https://www.elastic.co/guide/en/logstash/current/input-plugins.html)? Чтобы пользоваться input'ом в том духе:
C Sentry было легко — изменяю кинфиги logger (встроенная библиотека Python) и пишу уже не в файл (например), а напрямую шлю по HTTP на сервер Sentry — удобно.
Есть Python сервер, который принимает запросы, дает ответы. Есть Logstash. Какой лучше всего будет взять input plugin (https://www.elastic.co/guide/en/logstash/current/input-plugins.html)? Чтобы пользоваться input'ом в том духе:
try:
...
catch ..ValidationError as error:
send_as_input_to_logstash(message)
C Sentry было легко — изменяю кинфиги logger (встроенная библиотека Python) и пишу уже не в файл (например), а напрямую шлю по HTTP на сервер Sentry — удобно.
DS
Насколько я понимаю, это logstash-input-http, но все же? :)
D
можно и просто как есть кидать на http, но будут приколы с многострочностью. лучше всего на http-input кидать уже готовый json, тогда и парсинг на ёлке будет 'из коробки'
DS
Dmitriy
можно и просто как есть кидать на http, но будут приколы с многострочностью. лучше всего на http-input кидать уже готовый json, тогда и парсинг на ёлке будет 'из коробки'
То есть, если я буду слать любой json, и потом в output — elastic, то в итоге где-то на Kibana смогу по ключам любого json себе что-то свизуализировать, так?
D
да. json-парсер на http включен по умолчанию, на остальных входах - надо будет подключать в пайплайне.
DS
А что посоветуете для консистентности логов? Скажем, 10 микросервисов на одном языке, но разными командами, будут слать на Logstash что-то — лучше будет для них сделать библиотечку, которую они будут использовать и заполнять готовые "шаблоны" json-ключей, или документацию?
DS
Это в случае логирования чего-то одинакового — ошибок, версии API, etc.
D
ну, у нас разработчики под микроскрвисы напилили общий шаблон под логи, трейсы, метрики и т.д., но вроде бы все самопальное. подробнее не знаю, не вдавался...
2019 November 18
DS
Dmitriy
ну, у нас разработчики под микроскрвисы напилили общий шаблон под логи, трейсы, метрики и т.д., но вроде бы все самопальное. подробнее не знаю, не вдавался...
D
а это луддиты =) упрощение кода за счет усложнения обслуживания.