T
Соотвестно идейное понимае как кафка работает у меня есть но прод опыта нету
Size: a a a
2021 January 06
N
Привет, покидайте статей про то как рассчитывать количество и конфигурацию серваков под кафка кластер если известен примерный размер ожидаемого потока. Можно не очень подробную, просто хочу методологию расчета понять к завтрашнему дизайн интервью
на 10 мб/сек можно рассчитывать на 1 продьюсер, если с репликацией. В большинстве случаев кластеры не больше 5 нод. есть калькулятор онлайн.
e
Да это понятно, но для себя конечно хотелось бы понять как хотябы примерно оценить по верхней границы. Я тут просто не много решил даунгредится но за то пойти к чуваком которые все стримово обрабатываю, так как надоело сидеть на бачах
ох.. наверное уже знаете как в стримово собирать среднее по больнице ? или взвешенные показатели по иерархии ?
T
Nikolay
на 10 мб/сек можно рассчитывать на 1 продьюсер, если с репликацией. В большинстве случаев кластеры не больше 5 нод. есть калькулятор онлайн.
+ спасибо, это при какой конфигурации железа?
T
вы очень токсичный, мы вам перезвоним
N
можете вот этот погонять https://eventsizer.io/
AZ
Соотвестно идейное понимае как кафка работает у меня есть но прод опыта нету
просто пройдите по write path и read path, сделайте предположения по тому на сколько топиков и партиций побит поток, какая репликация, какой ретеншен - отсюда придете к IO на диски брокеров, зная ваше железо можно выйти на число брокеров (в продакшене 4 это минимальное число, если у вас RF3)
N
+ спасибо, это при какой конфигурации железа?
10мб/сек понятнут и hdd. памяти обычно много не нужно. только у кафки есть предел. скажем в 200К партиций на кластер. есть статья известная на эту тему. там штука в том, что в кафка кластере всегда один из брокеров является контроллером, который отвечает за лидер элекшн для всех партиций. если он упадет,а партиций много, то это на долго все затянется
T
Ага, понятно в какую сторону копать, большое спасибо за подсказки и ссылки
N
можно и 100мб/сек, если поставить, чтобы как только брокер к себе прринял, то не ждал, пока на другие ноды среплицируются. у вас на собесе будут какие-то число операций в секунду. вот вы зная размер одной записи. можете посчитать сколько в секунду можно будет прокачать. на продьюсере есть настраяка батчинга. лучше исходить из этих 10мб/сек.
N
в принципе можно предполагать, что вы сможете пару миллионов сообщений коротких в секунду прокачивать через кластре. можете загуглить что-нибудь kafka millions messages. учесть, что кафка не гарантироет FIFO если больше одной партиции. и т.д.
N
Если что есть отдельная группа по кафке https://t.me/proKafka . Там даже не душно )
DZ
Nikolay
в принципе можно предполагать, что вы сможете пару миллионов сообщений коротких в секунду прокачивать через кластре. можете загуглить что-нибудь kafka millions messages. учесть, что кафка не гарантироет FIFO если больше одной партиции. и т.д.
Эм эээ. Ордеринг в рамках партиции как бээ
DZ
И у кого вообще в проде топики с одной партицией
N
ну да. так ведь я это и написал )
DZ
Нет
T
Nikolay
Если что есть отдельная группа по кафке https://t.me/proKafka . Там даже не душно )
Отлично, большое спасибо!
N
Нет
ну нет, так нет )
В
И у кого вообще в проде топики с одной партицией
У меня. Потому что ордеринг нужен. :)
DZ
У меня. Потому что ордеринг нужен. :)
Эм эээ