В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Сбор и аналитика системных сообщений

576 membersпожаловаться на группу
2018 September 24

S

Serega in Сбор и аналитика системных сообщений
если из рсислога выгребать метрики мтейлом и склалывать в пром, то это будет постобработка.
Под постобработкой подразумевается применение каких-то действий к логам, постройка метрик, аналитики, алертов и т.д.
Хотя некоторым хватает и просто парсера при поиске проблем )
источник
21:01пожаловаться#1

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
если из рсислога выгребать метрики мтейлом и склалывать в пром, то это будет постобработка.
Под постобработкой подразумевается применение каких-то действий к логам, постройка метрик, аналитики, алертов и т.д.
Хотя некоторым хватает и просто парсера при поиске проблем )
лол.
слушай, ну ты же умный человек, умеешь в доки (https://www.rsyslog.com/doc/v8-stable/configuration/modules/index.html), ну как не стыдно дезинформацию писать?
rsyslog
RSyslog Documentation - rsyslog
источник
21:02пожаловаться#2

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Sergey Pechenko
лол.
слушай, ну ты же умный человек, умеешь в доки (https://www.rsyslog.com/doc/v8-stable/configuration/modules/index.html), ну как не стыдно дезинформацию писать?
rsyslog
RSyslog Documentation - rsyslog
Блин, я и не знал, про это вот все... https://www.rsyslog.com/doc/v8-stable/configuration/modules/omelasticsearch.html
rsyslog
RSyslog Documentation - rsyslog
источник
21:04пожаловаться#3

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Главная проблема, как быть с контейнерами.
источник
21:05пожаловаться#4

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Протсо fluentd, он как бы CNCF и все такое...
источник
21:06пожаловаться#5

S

Serega in Сбор и аналитика системных сообщений
Sergey Pechenko
лол.
слушай, ну ты же умный человек, умеешь в доки (https://www.rsyslog.com/doc/v8-stable/configuration/modules/index.html), ну как не стыдно дезинформацию писать?
rsyslog
RSyslog Documentation - rsyslog
ну и что не так?  я говорю за метод хранения а не передачи. Рсислог в типичном кейсе - это складывать файло на диск, что дешево.  Отправлять в еластик дорого. не?
источник
21:07пожаловаться#6

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
ну и что не так?  я говорю за метод хранения а не передачи. Рсислог в типичном кейсе - это складывать файло на диск, что дешево.  Отправлять в еластик дорого. не?
Отчего вдруг дорого стало?
источник
21:08пожаловаться#7

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Я уж не говорю, что rsyslog умеет в очереди внутренние с приоритетами и буферизацией (на предмет выпадения принимающего endpoint).
источник
21:09пожаловаться#8

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Отправлять в эластик, дорого, в прямом виде, если все нормально по пути жать, то проблем быть не должно. У меня индексы по 40ГБ на дебаге, бывают. И ничего, кибана не особо тормозит.
источник
21:09пожаловаться#9

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Самая главная претензия к эластику, это отсутствие контроля доступа из коробки. А 12 килобаксов, за каждую ноду выкладывать, это как-то и правда "дорого"
источник
21:12пожаловаться#10

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Shamil Sattarov
Самая главная претензия к эластику, это отсутствие контроля доступа из коробки. А 12 килобаксов, за каждую ноду выкладывать, это как-то и правда "дорого"
Это опенсорс.
источник
21:25пожаловаться#11

S

Serega in Сбор и аналитика системных сообщений
Sergey Pechenko
Отчего вдруг дорого стало?
скажем так, это на порядок дороже(по ресурсам) чем просто хранить сжатые файлы на диске (на центральном рсислог сервере). Вопросы масштабирования вообще можно даже не вспоминать.
источник
21:48пожаловаться#12

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Serega
скажем так, это на порядок дороже(по ресурсам) чем просто хранить сжатые файлы на диске (на центральном рсислог сервере). Вопросы масштабирования вообще можно даже не вспоминать.
Ага, и парсить grep'ом, как старовер.
источник
21:49пожаловаться#13

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Давай еще на перфокарты скинем.
источник
21:49пожаловаться#14

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
скажем так, это на порядок дороже(по ресурсам) чем просто хранить сжатые файлы на диске (на центральном рсислог сервере). Вопросы масштабирования вообще можно даже не вспоминать.
хмык. вообще-то elasticsearch предполагает full text search. если ты делаешь "предпродажную подготовку" сообщений перед закидыванием в elastic, то лишней инфы там уже не будет.
источник
21:49пожаловаться#15

S

Serega in Сбор и аналитика системных сообщений
Sergey Pechenko
хмык. вообще-то elasticsearch предполагает full text search. если ты делаешь "предпродажную подготовку" сообщений перед закидыванием в elastic, то лишней инфы там уже не будет.
и как это относится к аксес логам?
источник
21:50пожаловаться#16

S

Serega in Сбор и аналитика системных сообщений
Shamil Sattarov
Ага, и парсить grep'ом, как старовер.
ребята из меил.ру так и делают. "просто поток логов большой (с)"
источник
21:51пожаловаться#17

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Serega
и как это относится к аксес логам?
хорошо относится. по-дружески, можно сказать.
источник
21:51пожаловаться#18

SS

Shamil Sattarov in Сбор и аналитика системных сообщений
Я тут пытаюсь разрабов научить культуре логов, сам пытаюсь как-то кибану подраскурить, а тут: ну нахер, давай все в архивчиках хранить, на выделенном "отказоустойчевом" сервере.
источник
21:52пожаловаться#19

SP

Sergey Pechenko in Сбор и аналитика системных сообщений
Shamil Sattarov
Я тут пытаюсь разрабов научить культуре логов, сам пытаюсь как-то кибану подраскурить, а тут: ну нахер, давай все в архивчиках хранить, на выделенном "отказоустойчевом" сервере.
ELK-стек предполагает, что тебе нужен full text search, иначе ты ССЗБ - для задачи достаточно SQL.
источник
21:53пожаловаться#20