Size: a a a

Сбор и аналитика системных сообщений

2021 May 31

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
пока в периметре - можно
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Но от стека зависит, конечно.
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
но там зависит.. я ранние редакции закона о ПД помню, можно внезапно оказаться не в том классе, конечно..
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Эээ, только нужно шифровать диски с Кафкой.
Ну и там есть тонкости.
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
диски шифровать в 2021 вроде не проблема уже 🙂
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
но я согласен, что лучше бы прям на хосте с приложением отрубать
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
И, главное, легче на уровне логстеша или вектора.
Ну или адаптер указать в logback
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
но кому-то придется написать стопицот правил и поддерживать их
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Там три-пять простых правил обычно хватает.
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Поддержка - через стандартные сценарии развертывания.
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
моя практика показывает, что через полгода там станет все печально
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
но зато всегда можно будет найти виноватых
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Ну, по опыту, раз в два года надо смотреть на список правил и опять сводить к трем-пяти
Там как раз до 20-30 доходит.
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
не в этом проблема.. а в "разработчики внезапно поменяли формат логов и включили дебаг"
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Вот потому правила и надежнее. Они же не на имя поля ориентируются, а на контент.
Ну и тесты нужно делать на логи
источник

AK

Aleksandr Kosolapov in Сбор и аналитика системных сообщений
тесты на полноту логов полностью поддерживаю, даже практикуем
но на наличие чувствительных данных — не думал
источник

A

Alexander in Сбор и аналитика системных сообщений
unix-сокет блокирующий. Что с nginx сочетаться будет не очень хорошо. Лучше сделать udp на lo, и мониторить проливы логов на сокете. А также убрать блокировки в пайплайне rsyslog, чтобы, если что, логи терялись не на сокете, а в самом рсислоге, что удобнее наблюдается в метриках.
Насчет балансировки: зависит от способов балансировки, которые доступны в вашей инфре.
У меня в тестах на 80keps логи на сокете не терялись после отключения блокировок в пайплайне (утилизация CPU была в районе 1-2 ядер, можно масштабировать вширь потоками). Но, если очередь кончится, то логи, конечно, рсислог будет дропать. Что приоритетнее: обслужить нагрузку или записать логи, решайте сами.
источник

A

Alexander in Сбор и аналитика системных сообщений
Зависит от поведения приложения. Вообще, unix-сокет блокирующий.
источник

A

Alexander in Сбор и аналитика системных сообщений
Они оба блокирующие, насколько я помню. И у syslog-а стандартным является stream unix-сокет.
источник

SK

S Kirill in Сбор и аналитика системных сообщений
источник