GK
Упал брокер, в партиции 2 Тб, какой сценарий?
Size: a a a
2020 January 22
GK
Помогите поверить в чудеса
PD
А зачем все в одной партиции? Сделать их сразу 10000.
Ms
У кафки есть ограничение на перфоманс консьюмера
Ms
К сожалению это одна партиция на один консьюмер
PD
Ну, а зачем один консьмер?
OS
И, кажется, число партиций аффектит производительность
GK
А зачем все в одной партиции? Сделать их сразу 10000.
То есть при росте объёма данных наращивать число партиций?
PD
Да смотря какой ключ шардирования.
Ms
Ну иначе будет очень быстро все и без гарантии at least once
Ms
Время :)
PD
То есть при росте объёма данных наращивать число партиций?
Например
PD
Ну иначе будет очень быстро все и без гарантии at least once
Ээ, почему это без гарантий?
PD
С партиций читать параллельно небольшими пачками. Зависит от сценария обработки
Ms
Архитектура кафки выраженная в способе хранения оффсета
PD
Ээ, я представляю себе архитектуру кафки. В чём беда с хранением оффсета для нескольких партишенов и консумеров?
AS
Идея использовать кафку как event store в eventsoucing выглядит очень заманчивой. Понаблюдаем за исплементацией.
Судя по активному обсуждению Kafka в разных местах: «В этот горшочек можно положить все, что угодно (с)». Вопрос, зачем?
События удобно хранить в документной БД, например MongoDB или специализированной такой какGreg Young’s EventStore. Kafka хорошо подходит для интеграционных очередей, но не для хранения. Вроде про это не раз писали.
События удобно хранить в документной БД, например MongoDB или специализированной такой какGreg Young’s EventStore. Kafka хорошо подходит для интеграционных очередей, но не для хранения. Вроде про это не раз писали.
Ms
Судя по активному обсуждению Kafka в разных местах: «В этот горшочек можно положить все, что угодно (с)». Вопрос, зачем?
События удобно хранить в документной БД, например MongoDB или специализированной такой какGreg Young’s EventStore. Kafka хорошо подходит для интеграционных очередей, но не для хранения. Вроде про это не раз писали.
События удобно хранить в документной БД, например MongoDB или специализированной такой какGreg Young’s EventStore. Kafka хорошо подходит для интеграционных очередей, но не для хранения. Вроде про это не раз писали.
Ах да, монго, точно, как же забыли... классная вещь. Чтобы выстрелить себе в ногу
Ms
Ээ, я представляю себе архитектуру кафки. В чём беда с хранением оффсета для нескольких партишенов и консумеров?
Вопрос в том, как кафка хранит оффсет в партишене + что происходит при at-least-once с двумя конкурирующими за партишен консьюмерами
AS
Ах да, монго, точно, как же забыли... классная вещь. Чтобы выстрелить себе в ногу
Я не Вам писал, а Геннадию. Речь шла про Event Sourcing, если что. Надеюсь Вы знаете, что это?