Size: a a a

Сбор и аналитика системных сообщений

2018 September 24

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
И, если уж на то пошло, то почему не journald?
источник

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Shamil Sattarov
Блин, может и шняга, но работает же! А fluentbit на C. Поэтому и хочу сделать что-то вроде "app — fluentbit — fluent proxy — elastic"
Вот когда будет несколько сот гигов в сутки с одного инстанса - тогда и узнаешь, как работает.
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
У меня пока сотня, но это я еще не все собрал.
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Кстати, логи с сетевых железок, имеет смысл вообще собирать?
источник

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Shamil Sattarov
Кстати, логи с сетевых железок, имеет смысл вообще собирать?
Это по вкусу. Модель угроз смотри, вот это вот всё.
источник

S

Serega in Сбор и аналитика системных сообщений
имеет смысл все, что позволяет улучшить стабильность, масштабируемость, безопасность и легкость поддержки.  Но пикантность ситуации в том, что собирать вообще все не получится. Во первых мусор никому не нужен, во вторых даже аксес логи собирать это весьма дорогое удовольствие. Особенно если их хранить в еластиксече. Поэтому прежде чем принимать такие решения, проведите нормальные лоадтесты и убедитесь что ваша инфраструктура не встала раком. Оценить сложность вопроса можно по отдельным докладам известных компаний, где народ до сих пор складывает логи рсислогом.
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Shamil Sattarov
Кстати, логи с сетевых железок, имеет смысл вообще собирать?
нет. если читать их некому.
источник

S

Serega in Сбор и аналитика системных сообщений
как дополнительный вариант - можно логи сгружать в КХ. И делать желаемую аналитику.
Универсальных систем на все случаи жизни построить не получится.
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
А в чем преимучество CH перед ES?
источник

S

Serega in Сбор и аналитика системных сообщений
скорость, компрессия.
источник

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
имеет смысл все, что позволяет улучшить стабильность, масштабируемость, безопасность и легкость поддержки.  Но пикантность ситуации в том, что собирать вообще все не получится. Во первых мусор никому не нужен, во вторых даже аксес логи собирать это весьма дорогое удовольствие. Особенно если их хранить в еластиксече. Поэтому прежде чем принимать такие решения, проведите нормальные лоадтесты и убедитесь что ваша инфраструктура не встала раком. Оценить сложность вопроса можно по отдельным докладам известных компаний, где народ до сих пор складывает логи рсислогом.
rsyslog написан на C, если что, и автор докторскую защитил на нём - ну так, к слову.
источник

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
так что на rsyslog не гони.
источник

S

Serega in Сбор и аналитика системных сообщений
кто сказал что я гоню? вопрос не в передаче, а в хранении. Я говорю что хранить в еластике дорого.
источник

S

Serega in Сбор и аналитика системных сообщений
рсислог не обеспечивает никак пост обработку и постройку аналитики.
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Это-то понятно, что на C. А на чем еще коммитить к Самому?
источник

S

Serega in Сбор и аналитика системных сообщений
это означает что нужно потом делать свой велосипед(от парсера до выгрузки в системы по типу еластика или КХ)
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Serega
скорость, компрессия.
А вот это вот точно?
источник

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
рсислог не обеспечивает никак пост обработку и постройку аналитики.
Постобработка - это до выгруза в эластик?
источник

S

Serega in Сбор и аналитика системных сообщений
это два разных мира
источник

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Вот я и спрашиваю: может можно вообще journald для этого использовать?
источник