PD
Просто надежных расширяемых баз очень мало, особого выбора нет (
Size: a a a
2020 November 02
PD
трансформы удобные, круто - https://vector.dev/docs/reference/transforms/
Да, вектор наконец похож на решение сайдкара для всякой доставки данных по логам и не только.
Совсем жестких гарантий там, увы, нет, но работает вполне.
Совсем жестких гарантий там, увы, нет, но работает вполне.
EI
А что тебе еще надо от key-value )
Вообще, там работы на одного сеньора на пару месяцев, не больше )
Вообще, там работы на одного сеньора на пару месяцев, не больше )
Ну да, всего-то :) + баги крыть потом + новые возможности + ...
И вот пару человек в этом мире трудоустроены на пару лет
И вот пару человек в этом мире трудоустроены на пару лет
EI
Да, вектор наконец похож на решение сайдкара для всякой доставки данных по логам и не только.
Совсем жестких гарантий там, увы, нет, но работает вполне.
Совсем жестких гарантий там, увы, нет, но работает вполне.
для простых трансформаций я rsyslog использую, очень шустрый - но да, он не тянет уже data transform нормальный, так как из другого мира
PD
Ну да, всего-то :) + баги крыть потом + новые возможности + ...
И вот пару человек в этом мире трудоустроены на пару лет
И вот пару человек в этом мире трудоустроены на пару лет
Не, гораздо, гораздо меньше.
Там есть стандартные слои, но надо смотреть, насколько они подойдут. Нам надо было много выжимать из решения )
Там есть стандартные слои, но надо смотреть, насколько они подойдут. Нам надо было много выжимать из решения )
PD
для простых трансформаций я rsyslog использую, очень шустрый - но да, он не тянет уже data transform нормальный, так как из другого мира
Ну и rsyslog тяжеловат для неспециалиста
EI
Ну и rsyslog тяжеловат для неспециалиста
Да, DSL там специфический ))
EI
Классный получился брейншторм, спасибо парни!
EI
Вот, кстати, вполне хороший сценарий: принял по HTTP, отправил в {ES, kafka, ...}
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
GK
Вот, кстати, вполне хороший сценарий: принял по HTTP, отправил в {ES, kafka, ...}
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
гарантии
EI
гарантии
в rsyslog есть relp, у него есть статистика - но не атомарная, да
Это не per-event queue
Это не per-event queue
GK
куда-то с ACID, потом в Vector и из Vector в {ES, kafka, ...},
EI
куда-то с ACID, потом в Vector и из Vector в {ES, kafka, ...},
GK
Тогда уж и Kafka не нужна
EI
Вот, кстати, вполне хороший сценарий: принял по HTTP, отправил в {ES, kafka, ...}
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
Vector: https://vector.dev/docs/reference/sources/http/
Rsyslog: https://www.adiscon.com/news/rsyslog-8-2010-0-released/ , "New module imhttp which allows to receive log data via HTTP"
В них нет exactly once
Так что kafka продолжает жить для событий, где повторно = ещё одно действие
Так что kafka продолжает жить для событий, где повторно = ещё одно действие
PD
Мы не тестировали его на гарантии при разных ситуациях, честно говоря.
По идее при невозможности отправить событие вектор умеет его сохранять локально. Но проверять надо.
По идее при невозможности отправить событие вектор умеет его сохранять локально. Но проверять надо.
PD
exactly once и в кафке не без проблем, если честно.
EI
Мы не тестировали его на гарантии при разных ситуациях, честно говоря.
По идее при невозможности отправить событие вектор умеет его сохранять локально. Но проверять надо.
По идее при невозможности отправить событие вектор умеет его сохранять локально. Но проверять надо.
PD
Проще всюду где возможно делать идемпотентность.
PD
Я пока не верю в exactly once в реальных кейсах, если честно...