GK
Эластик — очень сложная и капризная штука, тогда как Кафка — простая, как топор (в плане задачи «сложи данные на диск надёжно»).
Size: a a a
2021 July 03
D
На мой взгляд здесь происходит подмена понятий. Доставки данных логов и хранения с навигацией
GK
Речь была про надёжную доставку логов. Т.е. ответ на вопрос, зачем добавлять в пайплайн Кафку. Где здесь подмена понятий?
D
"Эластик — очень сложная и капризная штука, тогда как Кафка — простая,"
D
не?
GK
PD
Да и сейчас логи через кафку - не единственное и не всегда лучшее решение )
logstash, vector, fluentbit, файлы, системные утилиты - дофига вариантов.
logstash, vector, fluentbit, файлы, системные утилиты - дофига вариантов.
GK
Таки да, до сих пор есть те, кто бегает по тачкам и грепает на них логи. :)
PD
В смысле? Кафка - только транспорт логов, но таких транспортов дофига, а коллекторов - еще больше. И особого смысла использовать кафку в качестве транспорта - нет
PD
Я вот не знаю кейсов, когда кафка имеет смысл для передачи логов. Всегда лучше другое решение.
d
Ничего смешного. Я так иногда делаю, потому что иногда быстрее пройтись по серверам, чем даже просто залогиниьтся в гуи
d
И это очень печально
ВН
Тут секта отрицателей Кафки для доставки логов )) Думаю на мнение коллег влияет ошибка выжившего, в небольших командах где не нужны гарантии доставки
PD
Хм, любое из указанных выше
PD
А как Кафка помогает с гарантией доставки? Как вся цепочка выглядит?
PD
Где буферизация на источнике делается, если совсем уж конкретно?
SD
Подскажите пожалуйста в каких клиентских библиотеках реализована поддержка KIP-368 (Allow SASL Connections to Periodically Re-Authenticate)?
Особенно интересует для языков не на Java-платформе (Python, Go, Rust, C/C++, etc.), т.к. для Java особых проблем нет.
Пока нашёл только franz-go, где заявлена поддержка этого KIP, но может кто-нибудь посоветует ещё какие-то
Особенно интересует для языков не на Java-платформе (Python, Go, Rust, C/C++, etc.), т.к. для Java особых проблем нет.
Пока нашёл только franz-go, где заявлена поддержка этого KIP, но может кто-нибудь посоветует ещё какие-то
MB
принято, спасибо за инфо!
2021 July 05
MK
Всем привет! Народ, подскажите плиз кто какие использует стратегии по disaster recovery kafka кластера. Используем kafka operator от банзай клауда, все это дело задеплоено в aws eks - k8s. Находил решения в направлении kafkabackups и mirrormaker2, может кто уже сталкивался с такой задачей и пробовал что-то реализовывать, дайте обратную связь плиз.