Телеграмм чат группы ru

2018 September 24

SS

Shamil Sattarov in Сбор и аналитика системных сообщений

Serega

ребята из меил.ру так и делают. "просто поток логов большой (с)"

Смотрел я этот доклад, на хайлоаде 16 года, если не ошибаюсь. Молодцы, что тут сказать.

источник

21:53пожаловаться #1

S

Serega in Сбор и аналитика системных сообщений

все зависит от потока логов. Если он большой, то еластик дохнет. Рсислог нет. Либо стоимость инфраструктуры на базе еластик растет до астронамически масштабов.
Серебрянной пули не бывает, увы.

источник

21:53пожаловаться #2

S

Serega in Сбор и аналитика системных сообщений

мне не нравится попытки сделать из какой-нибудь идеи панацею.

источник

21:54пожаловаться #3

SS

Shamil Sattarov in Сбор и аналитика системных сообщений

Панацеи нет, поэтому я и хочу все децентрализировать. И собирать воедино, только то что нужно.

источник

21:54пожаловаться #4

SP

Sergey Pechenko in Сбор и аналитика системных сообщений

Serega

все зависит от потока логов. Если он большой, то еластик дохнет. Рсислог нет. Либо стоимость инфраструктуры на базе еластик растет до астронамически масштабов.
Серебрянной пули не бывает, увы.

подходы и производительность rsyslog'а позволяют распарсивать "на лету" и обогащать логи. кстати - можно даже прицепить python и переводить из питонячьих принтов в JSON. тоже лихо получается.

источник

21:55пожаловаться #5

SS

Shamil Sattarov in Сбор и аналитика системных сообщений

Суть моей идеи так же и в том, что можно будет с разных приложений, писать не только в разные индексы, но и в разные эластики, а может и вообще не в эластки.

источник

21:56пожаловаться #6

S

Serega in Сбор и аналитика системных сообщений

Sergey Pechenko

подходы и производительность rsyslog'а позволяют распарсивать "на лету" и обогащать логи. кстати - можно даже прицепить python и переводить из питонячьих принтов в JSON. тоже лихо получается.

да вообще не вопрос, я только за 😉 дело не в рсислоге. Я нжинксом сразу джсон писал, ничего парсить не надо.
Вопрос в том где и как применять инструмент. А то получается что если у вас в руках молоток, то все вокруг начинает выглядеть как гвозди.

источник

21:57пожаловаться #7

SP

Sergey Pechenko in Сбор и аналитика системных сообщений

Elastic- просто большая хранилка. И ClickHouse - тоже.

источник

21:57пожаловаться #8

SP

Sergey Pechenko in Сбор и аналитика системных сообщений

Метрики и алерты по логам тоже легко делаются на rsyslog.

источник

21:58пожаловаться #9

SS

Shamil Sattarov in Сбор и аналитика системных сообщений

Serega

да вообще не вопрос, я только за 😉 дело не в рсислоге. Я нжинксом сразу джсон писал, ничего парсить не надо.
Вопрос в том где и как применять инструмент. А то получается что если у вас в руках молоток, то все вокруг начинает выглядеть как гвозди.

Там, где я родился, если ты не умеешь писать журналы nginx в json, тебе ни одна баба не даст.

источник

21:58пожаловаться #10

SS

Shamil Sattarov in Сбор и аналитика системных сообщений

Sergey Pechenko

Elastic- просто большая хранилка. И ClickHouse - тоже.

+1

источник

21:58пожаловаться #11

S

Serega in Сбор и аналитика системных сообщений