ST
Добрый день! Подскажите, пожалуйста, можно ли грамотно как-то переправлять логи, которые пишет nginx, в сообщения (очереди) RabbitMQ?
Очень прошу помочь мудрым советом :)
Очень прошу помочь мудрым советом :)
для чего? сколько у тебя логов?
Size: a a a
2020 May 29
SM
не знаю, как корректно ответить на "сколько у меня логов", могу сказать, что частота записи nginx в лог файл довольно плотная
С
Добрый день! Подскажите, пожалуйста, можно ли грамотно как-то переправлять логи, которые пишет nginx, в сообщения (очереди) RabbitMQ?
Очень прошу помочь мудрым советом :)
Очень прошу помочь мудрым советом :)
тоесть общая схема такая:
приложение - шиппер - очередь - шиппер - хранилище
приложение - шиппер - очередь - шиппер - хранилище
SM
а что такое шиппер?
С
софт который берёт твои логи из какого-то источника (файлы логов приложения, файлы логов докер контейнера и тд), форматирует их, возможно обогащает какой-то метаинфой, и пуляет дальше
SM
а, типа logstash?
С
их много разных, с разным функционалом
SM
То есть, судя по Вашей схеме: nginx пишет в syslog, logstash забирает логи из syslog, как их обрабатывает и передаёт в очередь, на другом конце которой так же стоит logstash, так?
С
тут по опыту могу сказать что в логах самое противное это стектрейсы правильно доставлять в хранилище. Например у тебя приложение пишет построчно логи. потом оно выплёвывает стектрейс на 100 строк - и надо что бы они одним сообщением попали в ELK
С
То есть, судя по Вашей схеме: nginx пишет в syslog, logstash забирает логи из syslog, как их обрабатывает и передаёт в очередь, на другом конце которой так же стоит logstash, так?
в этой схеме лучше поискать возможность добавить syslog'у аутпут сразу в очередь - он и есть шиппер в этом случае
A
A
( ͡° ͜ʖ ͡°)
В вузе вообще учат?
1:1
SM
в этой схеме лучше поискать возможность добавить syslog'у аутпут сразу в очередь - он и есть шиппер в этом случае
то есть, грубо говоря, это своеобразный pipeline такой, да?
SM
понял, спасибо!
A
Я бы детей начинал учить с https://store.steampowered.com/app/370360/TIS100/
я бы начинал с CS50 Harvard
С
смотрите какое у нас не токсичное сообщество если задавать правильные вопросы ))))
A
смотрите какое у нас не токсичное сообщество если задавать правильные вопросы ))))
A
смотрите какое у нас не токсичное сообщество если задавать правильные вопросы ))))
а какие вопросы?