Коллеги, доброго дня.
Существует задача собирать логи с приложений размазанных по разным странам в один кластер ELK
В роли отправителей логов - само приложений (php или java и filebeat)
rtt между logstash центрального кластера и самыми удаленными приложениями порядка 100-130 ms
у меня есть опасение что отправка метрик с приложения будет притормаживать, тем самым сильно замедлять исполнение учатсков кода из-за rtt между кластером и самим приложением
а так же что я могу словить какие-либо странности с filebeat
нагрузка до 8keps
возникла идея как то буфиризировать логи по ближе к проекту и уже потом досылать их в центральный кластер
в качестве реализации смотрю на :
1)локальный logstash принимает логи и перенаправляет их в центральный logstash
2)локальный logstash принимает логи и складывает их в redis, дальше центральный logstash забирает их из redis
что посоветуете под мою задачу?
редис как буфер вполне сгодится для этой задачи. Минус в том, что для большого кол-ва инсталляций логсташа будет потрачен дополнительный вычислительный ресурс + мониторинг + поддержка одинаковых конфигов + обновление. Проще использовать syslog-ng с отправкой логов в редис, из которого потом будет забирать логсташ с центрального сервера(ов)