AS
Логи и так в JSON'е, но слать не сжатый JSON по сети — чистейшая питушня.
Stunnel +compress
Size: a a a
2018 September 24
S
Логи и так в JSON'е, но слать не сжатый JSON по сети — чистейшая питушня.
да ну? а запихивать это в еластик не чипухня?
S
компрессия при передаче это копейки, по сравнению с нагрузкой на еластик. Особенно если вы пишите что микросервисов этих мало.
S
плюс флюентд к каждому микросервису это тоже такое себе. Память жрет. Хотябы флюентбит при тех же вводных.
SS
В любом случае, глупо считать, что отовсюду можно получить JSON, fluentd позволяет использовать одну тулзу повсюду.
SS
плюс флюентд к каждому микросервису это тоже такое себе. Память жрет. Хотябы флюентбит при тех же вводных.
Да я вот и склоняюсь к нему
SS
Он вроде быстрый, на сях написанный. Только плагинов маловатно.
S
В кубере флюентбит может вообще все сразу переводить в джсон (если оно нейтивно не умеет). Но стоит ли это хранить еще надо подумать.
SS
Думаю сделать, чтобы fluentbit паковал и отсылал на "прокси", а тот, в свою очередь, уже будет распаковывать и раскладывать куда надо.
SS
Типа, как Адель Сачков сделал "app — heka — heka — ElasticSearch"
N
Хека, которая несколько лет задепрекейчена уже
SS
Именно она.
SS
Но Яндекс.Деньги собирают логи ей.
N
Там и заббикс есть))
SS
Не поминай всуе.
PR
у них там даже оракл был
PR
вроде убрали
SP
fluentd - шняга на Ruby. нафиг она? есть rsyslog искаропки в нормальных дистрах.
SS
В кубере флюентбит может вообще все сразу переводить в джсон (если оно нейтивно не умеет). Но стоит ли это хранить еще надо подумать.
Не пойму, как он это может просто брать и переводить в JSON. Откуда он знает где, какие поля?
SS
fluentd - шняга на Ruby. нафиг она? есть rsyslog искаропки в нормальных дистрах.
Блин, может и шняга, но работает же! А fluentbit на C. Поэтому и хочу сделать что-то вроде "app — fluentbit — fluent proxy — elastic"