Size: a a a

Сбор и аналитика системных сообщений

2020 November 01

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Нам хватает 2 и все огонь работает
источник

Y

Yury in Сбор и аналитика системных сообщений
Bogdan (SirEdvin) Gladyshev
Нам хватает 2 и все огонь работает
спасибки
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Ну или vector+clickhouse )
источник

AA

Artyom Abramovich in Сбор и аналитика системных сообщений
Yury
А сколько на старте в него закинуть? 2-4 достаточно будет, чтоб вся эта машинерия не падала? При небольшом количестве логово
от кол-ва данных зависит :)
источник

Y

Yury in Сбор и аналитика системных сообщений
Artyom Abramovich
от кол-ва данных зависит :)
Мизер, не думаю что больше пары сотен в час.
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
Yury
Мизер, не думаю что больше пары сотен в час.
А зачем тогда эластик вообще, тут и файл вполне подойдёт?
источник

Y

Yury in Сбор и аналитика системных сообщений
Phil Delgyado
А зачем тогда эластик вообще, тут и файл вполне подойдёт?
На будущее... Не хочется потом переделывать) ну и может для обработки логов у эластика будет какоето апи, а не парсинг файлов)
источник

PD

Phil Delgyado in Сбор и аналитика системных сообщений
А сколько в будущем планируется логов?
источник

AA

Artyom Abramovich in Сбор и аналитика системных сообщений
Yury
Мизер, не думаю что больше пары сотен в час.
2 хватить должно
источник

Y

Yury in Сбор и аналитика системных сообщений
Phil Delgyado
А сколько в будущем планируется логов?
Пока что сложно даже примерно подсчитать... Даже если совсем все писать туда буду и с учетом развития, сомневаюсь что больше пары сотен тысяч в час
источник

A

Alexander in Сбор и аналитика системных сообщений
Yury
На будущее... Не хочется потом переделывать) ну и может для обработки логов у эластика будет какоето апи, а не парсинг файлов)
Парсинг вполне может оказаться рациональнее по использованию ресурсов. Текстовые логи в gzip на ФС занимают мало места, а grep - штука _очень_ быстрая.
источник

Y

Yury in Сбор и аналитика системных сообщений
Alexander
Парсинг вполне может оказаться рациональнее по использованию ресурсов. Текстовые логи в gzip на ФС занимают мало места, а grep - штука _очень_ быстрая.
Греп для ручного просмотра да, а мне нужно что-то более апи подобное
источник

Y

Yury in Сбор и аналитика системных сообщений
Alexander
Парсинг вполне может оказаться рациональнее по использованию ресурсов. Текстовые логи в gzip на ФС занимают мало места, а grep - штука _очень_ быстрая.
Это вы про рсислог?
источник

A

Alexander in Сбор и аналитика системных сообщений
@mef13 посмотри на это
источник

A

Alexander in Сбор и аналитика системных сообщений
Переслано от Sergey Pechenkó
На тебе инструмент: https://github.com/gvalkov/tailon
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Alexander
Парсинг вполне может оказаться рациональнее по использованию ресурсов. Текстовые логи в gzip на ФС занимают мало места, а grep - штука _очень_ быстрая.
но grep же не fts !
источник

A

Alexander in Сбор и аналитика системных сообщений
Aleksey Shirokikh
но grep же не fts !
На небольших объёмах ты существенную разницу вряд ли заметишь
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Alexander
На небольших объёмах ты существенную разницу вряд ли заметишь
чо ? я ее на 2 строках замечу
источник

A

Alexander in Сбор и аналитика системных сообщений
Aleksey Shirokikh
чо ? я ее на 2 строках замечу
А если без 9-этажных регекспов с бэктрекингом? :)
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
даже на них.
источник