OΜ
Привет! Кто нибудь собрал логи nginx-а используя Vector? Не пойму как правильно конфигурировать используя докер
Size: a a a
2021 February 11
OΜ
Хотел сделать связку nginx + vector + clickhouse
SP
Хотел сделать связку nginx + vector + clickhouse
С
В вектор батчинг завезли уже для КХ и эластика?
SK
ну там вроде давно есть, как опция
D
всем привет
преабмула:
“знакомый похвастался что попробовал лить логи nginx в клик через vector, и типа все быстро круто и хорошо, прошло время и я решил испробовать этот метод”
вводные:
6 серверов nginx надо собирать и логи с них (их нужных сейчас порядка 4-6 к рпс)
настроил агентов vector + сервер самого вектора с локальнвм для него кликом, с конфигами +/- как указаны на сайте
проблема:
по vector top вижу что с локальных агентов данные уходят со скоростью 2к, скорость записи данных в логи явно больше, и данные в клик приезжают с задержкой, которая постонно растет, на самом сервере vector’a видно что данные приезжать со сторостью 12к event’ов в секунду
как увеличить скорость отравки с агентов? Читал доку на сайте - но каких либо рекомендаций не нашел….
преабмула:
“знакомый похвастался что попробовал лить логи nginx в клик через vector, и типа все быстро круто и хорошо, прошло время и я решил испробовать этот метод”
вводные:
6 серверов nginx надо собирать и логи с них (их нужных сейчас порядка 4-6 к рпс)
настроил агентов vector + сервер самого вектора с локальнвм для него кликом, с конфигами +/- как указаны на сайте
проблема:
по vector top вижу что с локальных агентов данные уходят со скоростью 2к, скорость записи данных в логи явно больше, и данные в клик приезжают с задержкой, которая постонно растет, на самом сервере vector’a видно что данные приезжать со сторостью 12к event’ов в секунду
как увеличить скорость отравки с агентов? Читал доку на сайте - но каких либо рекомендаций не нашел….
batch + request.concurrency = "adaptive"
2021 February 12
SC
какой тогда вариант best practice для сбора и доставки логов а elsatic/clickhouse при учете 30-40к рпс?
Мне, кстати, тоже интересно, какие сейчас практики. Мне в своё время не показали вектор, а логстэш совершенно не справлялся с rps больше 30к. В итоге пришлось на коленке написать на сях свой парсер логов. Тоже в кликхаус данные надо было лить.
SK
вот именно, нет серебряной пули
но некоторые пули явно отравленные )
но некоторые пули явно отравленные )
V
Мне, кстати, тоже интересно, какие сейчас практики. Мне в своё время не показали вектор, а логстэш совершенно не справлялся с rps больше 30к. В итоге пришлось на коленке написать на сях свой парсер логов. Тоже в кликхаус данные надо было лить.
на сях писать.. зачем? Времени много? Старый добрый rsyslog с чем не справился?
SC
на сях писать.. зачем? Времени много? Старый добрый rsyslog с чем не справился?
Ну может я его готовить не умею. Но питоновские вставки кода для создания бонусных данных чё-т очень уж медленно отрабатывали.
SK
ну это как всегда "... но у него был фатальный недостаток, оно написано не нами..." )
SP
Ну может я его готовить не умею. Но питоновские вставки кода для создания бонусных данных чё-т очень уж медленно отрабатывали.
Что означает "бонусных данных"?
OM
наверное обогащение данных
SC
Что означает "бонусных данных"?
Ну да, надо было обогащать данные
SC
ну это как всегда "... но у него был фатальный недостаток, оно написано не нами..." )
Ну я потому и спрашиваю, кто чем пользуется. Велосипеды строить - это крайняя мера была.
SP
Ну да, надо было обогащать данные
Это можно прямо рсислогом делать, даже ничего писать не надо.
SC
Это можно прямо рсислогом делать, даже ничего писать не надо.
А в кликхаус он умеет складывать?
SP
А в кликхаус он умеет складывать?
sure
SC
Хм... Надо тогда поизучать эту тему