а как ты ищешь связь контекста одной части системы с другой частью системы? как отфильтровать логи из разных систем (разных серверов) по user_id?
понятно что погрепать можно что угодно, но удобно ли это?

у меня есть request_id который проталкивается везде

а если из отфильтрованых по request_id логов тебе нужно ещё пофильтровать, ты продолжаешь дописывать греп?

иногда да.. но в 99% случае мне грепа по request_id хватает.

При этому на экране консоли умещается инфы в разы больше, чем эластик отображает. Я так и не осознал этот феномен..

а зачем тогда тебе вообще json логи? кто-то таки убедил? или потому что модно? не понимаю

потому что иногда нужен контекст, который накапливается, как сказал серега.
Или например логировать входящие jsonчики проще через jsonчики.. Иногда надо отфильтровать по какому нить полю. В общем логи в jsonе полезны и нужны тоже.

а как ты понимаешь когда они нужны а когда нет? дублируешь вообще всё в двух форматах?

да, у меня два хендлера. Один логирует в файл, другой в stdout в json формате.
Хендлер который логирует в файл, все словарики превращает в строки. jsonовский хендлер посылает словарики as is.
Плюс jsonовский засылает дополнительный контекст.
И еще могу сделать так:

logbook.info("Human string {a}", a=xxx, b=yyy)

При этом в файле b нету, а в json есть. Получается что human логи не загромаждаются всякой структуированной инфой. А вот когда она нужна, лезу в эластик и там нахожу что надо.

Раньше что то подобное делал.. Вернее всё максимально детально логировалось в файл, а потом писался скрипт который бы из этих словарей делал пригодный для меня формат (грубо говоря выкидывал что не нужно).

Эластик то в целом не плохая идея. Я не против этой идее, но меня бесят сложности конфигурации и тормоза.
Грубо говоря, тот же clickhouse + tabbix (на коленке написанный интерфейс бэкендщиком, который ваще js первый раз увидел, потому и он ужасный) мне как то милее и быстрее.

Ну и когда вы логируете в эластик, уже нельзя писать логи в таком формате:

logbook.info("Something {} happended {} with {}", a, b, c)

обязательно надо менять на

logbook.info("Something {a} happended {b} with {c}", a, b, c)

Чтобы потом фильтровать не по вхождению в текст сообщения, а именно по полям.

https://habr.com/ru/company/yandex/blog/491038/

Кто — что думает?

https://habr.com/ru/company/oleg-bunin/blog/488010/

@proofit404 !

@proofit404 я правильн опонял, что это переработанная и улучшенная версия доклада?

Совсем чуть-чуть переработанная.

По сути просто расшифровка.

Ну я имел ввиду ранную версию

На пайконф++ я не был, а доклад знаком :-)))(

Значит я видел его на раннтс :-)