на рсислог завязана работа джава аппа с постоянным обменом данными. Боюсь, что если буду играться сейчас - либо апп встанет (там такие карявые разрабы), либо потеряю часть логов, что не есть гуд.
Попробую под остановку аппа. Предполагаю, что если сделать стоп-старт рсислогу, то всё пойдет с чистого листа. Но по вышеупомянутым - не могу делать так постоянно.

В любом случае спасибо. Если у кого будут еще идеи - предлагайте. Может попытаюсь протащить апдейт рсислога, посмотрим.

Хотя инет кишит просто проблемами упирания рсислога у ulimit. Плюс в доках есть параметр max open files. Так что, думаю, разрабы считают это нормой

HUP заставит его переоткрыть файловые дескрипторы. Ничего сломаться не должно. В целом, он раз в сутки это по логротейту должен и так делать (если не оторвали в дистре)

Либа журналды, к сожалению, иногда неоптимально работает с ресурсами (рсислог, насколько я помню, юзает её тупо в лоб). Попробуй обновить systemd до последней доступной в дистре версии.

А по поводу HUP-а — он вполне безопасен, к перезагрузке конфигурации не приводит, просто п этому сигналу рсислог переоткрывает дескрипторы

Подскажите, как называется подход, когда все данные считаешь в рилтайме, например Flink streaming, а потом этой же бизнес логикой пересчитываешь исторические данные, если это необходимо. Есть ли литература про это?

Lambda architecture

Хотя если этой же, то скорее kappa

+

Лямбда - когда отдельно батчи есть во второй системе

Ага. Я вспомнил как раз после того, как написал

Спасибо. Пошёл читать.

https://github.com/perforce/p4prometheus

вроде делает то же, что и loki... 😅

Ребят а кто-то vector на больших нагрузках пользуется??
~200 Keps
Или более
JSON логи

Это же просто экспортер метрик по логам perforce-сервера

Гонял в 2014 рсислогом 80keps, ценой утилизации одного ядра cpu. Потом гигабитный канал кончился :)
Но горизонтально отмасштабировать в 3 раза, думаю, не было бы проблелемой при более широком линке.

Всем привет.
Windows Server 2003
Как найти в событиях (логах) когда и кто поменял адрес на сетевом интерфейсе?

это надо в чатике про винду спрашивать

Так аналитика же, по логам надо найти кто ручками шалил.

у нас же тут полно Rsyslog маньяков?

начинаю думать на счёт замены filebeat+logstash
теоретические вопросы есть
возможная схема
nginx_app-> unix_socket -> syslog ->  tls+tcp (internet ) -> syslog -> (logstash ?) -> ES

есть ли у кого подобная схема?
что с балансировкой syslog -> syslog ?
часто ли теряются логи на сокете, когда буфер локальный кончился ?

У вас нагрузки какие?