TS
Если нужно чтобы оба инстанса прочитали все сообщения, то тебе инстансы придется положить в разные консюмер группы
Size: a a a
2021 November 25
TS
Вернее инстансы получат сообщения из разных партиций, а у каждой партиции свой офсет
SS
ну так то да. это если планировать заранее. сколько инстансов будет. а если например в отчетный период их добавлять, в зависимости от нагрузки. сколько нужно - так не работает
TS
ну в кафке ты не можешь “в отчетный период” масштабироваться
TS
только заранее
SS
и вот если завтра надо будет еще 2-3 инстанса консюмеров подключить, то без изменения кода не обойдешься же. как минимум настроек приложения
TS
не, это не так работает
TS
у тебя не может быть больше 1 консюмера на партицию
TS
батч работает только в рамках партиции
SS
не соглашусь. как раз таки кафка очень хорошо масштабируется сама. и позволяет масштабировать приложения(клиенты) которые с ней работают
TS
ты не получишь в 1 батче сообщения из разных партиций
TS
сори, но ты скорее всего не понимаешь как кафка работает
TS
или я тебя не понимаю
TS
кафка не эластичная, если ты заранее не продумал топологию в кафке, то не получится ее на лету менять
TS
если в топик заранее сконфигурить кучу партиций, то при низких нагрузках будет страдать лэйтенси, если сделать мало партиций, то лэйтенси будет низкий, но в “отчетный период” не получится накинуть больше консюмеров
TS
при большом кол-ве партиций и небольшом консюмеров будет теряться время на переключение консюмеров между партициями, батчи будут короткими
SS
к твоему сожалению знаю)
SS
для этого consumer group придумали
TS
ну расскажи как с помощью консюмер групп поменять кол-во партиций?
TS
ты согласен, что в батче лежат сообщения только из одной партиции?