А оно умеет агрегировать логи из разных источников? А то иначе всё равно придётся ставить логстеш (или его альтернативу)

что ты подразумеваешь под разными источниками?
сислог, файлы, и графит перенаправлять в эластиксёрч силами одного логстеша?

А меня эластик бесит..  Тормозит и ресурсы жрет (проц и диск). В следующем проекте, буду топить за кликхауз для логов. Этот эластик с индексами на каждое поле, секунд по 10 обрабатывает запросы..  Кликхауз без индексов быстрее гигабайты перемалывает.
Настраивал его не я, а девопс, может там и где то можно настроить лучше, но, почему он "изкоробки" такой тормозной?

у вас к кликхаусе логе лежат?

У нас лежат ивенты, которые "бизнес-логи". Грубо говоря то, вокруг чего потом можно строить аналитику и биллинг. Работает безупречно, хотя мы трижды изо всех сил натыкались на его странную интеграцию с Кафкой

Если лог можно разобрать на колонки в кликхаусе, то совсем нет причин, почему бы так не делать.

Флант вокруг этого даже продукт сделал https://github.com/flant/loghouse

к сожалению нет и я страдаю.

вот, ес если лог нельзя разобрать на колонки?

он норм ищет по логам в таком случае?

или вы выделяете какие то идентификтаоры и ищите только поним?

Мы пишем большую часть логов в JSON'ы

https://paul.querna.org/articles/2011/12/26/log-for-machines-in-json/ :)

А там где не пишем, там я всех убеждаю, что от этого только счастье будет. Все пробуют и соглашаются

Кстати, тихо и незамтно, даже внутри компании Скрапингхаб, вышел Scrapy 2.0: https://docs.scrapy.org/en/latest/news.html#scrapy-2-0-0-2020-03-03

я пока что убедить не смог.
жалуются что глазами нечитаемо получается.

Прикольно. Но я так и не нашёл задач у себя для его пощупать. Обычно хватет requests (

А они их глазами читают или через что-то? Я смог убедить тем, что показал, что процесс прохождения "запроса" (чего-угодно) через систему ведет накопление контекста. И есть 2 пути: оформлять это в сообщения, а потом отчаяно их парсить. Либо не иметь этой проблемы, и писать контекст сразу распаршеным. А там и сообщения логов получаются проще

глазами в файлах почему-то людям (нескольким) удобнее, но так как аппаратный вес решает.
то кибану я даже выключил, толку нет от неё :(

Вот поэтому у меня два вида логов, один json, который попадает в эластик и второй обычный файл. Поскольку эластик тормоз — я работаю с файлами в основном, греп и редко awk и прочая консольная магия.

Кстати у меня с логами есть другая проблема.. Из за gdrp, заказчик сказал что в логах никакой личной инфы быть не должно. Ни email, ни name ничаво..
Вот тут и получаем, что я не могу в логи отправить исходный Jsonчик. Мне надо его обязательно распарсить и удалить sensitive info. Это добавляет расходов.. питон ведь сцуко очень медленный.
Во вторых, грепать и искать кто что сделал становиться невозможно. Я конечно не первый день в бизнесе, поэтому sensitive инфо не удаляю, а просто заменяю на хеши.