СА
Или так, но это громоздко, и можно что-то потерять, пока новый сервис в системе прописываешь.
Size: a a a
2021 September 01
PD
Мне быстрее добавить слово в select )
IA
кибана достаточно легко добавляет новые размерности
ДН
автомитизация в помощь
PD
Эти данные все равно должны быть в логах )
СА
Да, но для этого надо знать, что именно добавлять. И тут вот такая визуализация очень помогает.
PD
Так там же автокомплит )
PD
Зачем несколько таблиц? Это плохой кейс для CH.
AK
Зачем вообще использовать логи как распределенный трейсинг когда для этого уже есть инструменты и стандарты? 🤔
PD
Если логов много и нужно искать, то все равно надо новый индекс (автовычислимое поле) делать и это уже на уровне эластика...
ДН
когда логов 300+гб в день то это не такая уж плохая идея)
PD
Трейсинг рассчитан на статистику, а не на конкретный запрос.
PD
Э, а чем это не плохая идея?
c
wat
СА
Ну смотри: вот на скрине реальный запрос по ошибкам 5xx. Допустим я пришёл сюда потому, что их стало больше. Вот колонка
response_status_code - и я сразу вижу, что 503-х ошибок больше обычного, значит вероятно проблема в api-gateway. В redash мне надо сначала сделать группировку, а тут все возможные группировки сделали за меня уже.PD
Т.е. тот же jaeger не съест 300+ GB логов в день на протяжении пары недель. А CH - вполне.
AK
В смысле на статистику?🤨 На статистику достаточно метрик. Логи нужны исключительно в рамках одного сервиса. Чтобы понять как конкретный запрос шел через набор сервисов и где застрял, используют распределенный трейсинг.
ДН
ну мы всегда при поиске задаем интервал дат (примерно), если в единой таблицы лежат логи всех сервисов, то (несмотря на всю крутость olap бд) запрос все равно идет медленнее, т.к. объем данных все равно велик.
PD
Угу. Но еще лучше это смотреть графиком в графане. И правильнее смотреть там, а уже оттуда по клику открывать логи (в lighthouse или в чем-то еще)
PD
Все трейсеры по умолчанию рассчитаны на "храним один трейс из 1000", а не "храним вообще все".
Проверить путь конкретного запроса вчерашнего дня - они не умеют (
Проверить путь конкретного запроса вчерашнего дня - они не умеют (