D
Начнут читать с последнего коммита
Size: a a a
2021 March 05
AA
2000 партиций распределятся по 20 воркерам
так, еще раз - воркер прочитал партицию, обновился индекс. Чтобы вместо 10 воркеров сделать 20 надо всех стопнуть и стартовать по новой, чтобы они разбежались?
если в процессе обсчета какой-то воркер упал - все его партиции тормознулись, и тут мы решили проскейлиться и уже никогда не узнаем кто когда то сдох, так?
если в процессе обсчета какой-то воркер упал - все его партиции тормознулись, и тут мы решили проскейлиться и уже никогда не узнаем кто когда то сдох, так?
AA
Пиздец, как мы выжили 😳
AA
Весна в Битцевском парке, 1976
PD
так, еще раз - воркер прочитал партицию, обновился индекс. Чтобы вместо 10 воркеров сделать 20 надо всех стопнуть и стартовать по новой, чтобы они разбежались?
если в процессе обсчета какой-то воркер упал - все его партиции тормознулись, и тут мы решили проскейлиться и уже никогда не узнаем кто когда то сдох, так?
если в процессе обсчета какой-то воркер упал - все его партиции тормознулись, и тут мы решили проскейлиться и уже никогда не узнаем кто когда то сдох, так?
нет. ты добавляешь консьюмера (воркер) в группу. кафка перераспределяет партиции между воркерами (выбранной стратегией), консьюмер читает с выданных ему партиций.
PD
Если воркер упал, то брокер это поймал, перераспределил его партиции по живым - и те стали забирать данные и оттуда.
перезапускать не надо, насколько помню, оно само.
перезапускать не надо, насколько помню, оно само.
PD
это все в документации разжеванно же
AA
да кто ее читал
MV
Если воркер упал, то брокер это поймал, перераспределил его партиции по живым - и те стали забирать данные и оттуда.
перезапускать не надо, насколько помню, оно само.
перезапускать не надо, насколько помню, оно само.
Там вроде лидер группы распределением занимается, а не брокер
PD
Там вроде лидер группы распределением занимается, а не брокер
угу.
PD
да кто ее читал
ну так прочитай, как ты без этого вообще собираешься что-то делать, что на кафке, что на кролике (там еще и код придется читать), что на пульсаре.
AA
ну так прочитай, как ты без этого вообще собираешься что-то делать, что на кафке, что на кролике (там еще и код придется читать), что на пульсаре.
ну так если я буду читать доки про всё на что я посмотрел, то я крышей поеду. Мне как раз и надо такое базовое знание типа можно вообще или нет
PD
ну так если я буду читать доки про всё на что я посмотрел, то я крышей поеду. Мне как раз и надо такое базовое знание типа можно вообще или нет
ответ - да, можно
AA
а почему тогда @bsideup говорит что не MQ?
PD
Откуда я знаю. Но кейс 'распределить задачи по воркерам' нормально работает
D
а почему тогда @bsideup говорит что не MQ?
я бы сказал наоборот
D
кафка может работать подобно очереди, как и кролик
D
а вот кролик не умеет того, что умеет кафка
PD
а вот кролик не умеет того, что умеет кафка
Ну, там оно разнообразнее. Если не важна производительность и надежность, то на кролике многое делать проще
ПФ
Экспериментиуем с микроформатами — этот выпуск практически умещается в твит. Ссылка на него — точно
https://newpodcast2.live/podcast/acquisitions-and-inadequate/
https://newpodcast2.live/podcast/acquisitions-and-inadequate/