SB
А я правильно понимаю что кафка говно в роли брокера воркеров? Где сообщения простые типа start=SomeClass
Ну надо более детально задачу смотреть :) и вообще -> #pro.kafka
Size: a a a
2021 March 05
AA
Ну надо более детально задачу смотреть :) и вообще -> #pro.kafka
Да куда уж детальнее 😌 у нас tdd - telegram driven development
VG
А я правильно понимаю что кафка говно в роли брокера воркеров? Где сообщения простые типа start=SomeClass
Много есть вопросов
- какие требования по latency/throughput
- размеры сообщения
- какой паттерн доставки
- какие требования по latency/throughput
- размеры сообщения
- какой паттерн доставки
AR
AA
Много есть вопросов
- какие требования по latency/throughput
- размеры сообщения
- какой паттерн доставки
- какие требования по latency/throughput
- размеры сообщения
- какой паттерн доставки
сейчас есть сервис, который в гугловый pubsub кидает таски типа start=SomeClass и эти сообщения разлетаются по воркерам, которые на такую команду начинают усиленно жевать данные.
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
SB
сейчас есть сервис, который в гугловый pubsub кидает таски типа start=SomeClass и эти сообщения разлетаются по воркерам, которые на такую команду начинают усиленно жевать данные.
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
У меня есть такой кейс в проде.
SB
Воркеры эти статус работ также отправляют обратно в кафку
AA
У меня есть такой кейс в проде.
а масштабируется заведением новых топиков и вешаньем воркеров на них?
SB
а масштабируется заведением новых топиков и вешаньем воркеров на них?
Воркеров.
AA
Воркеров.
а как они все один топик читают?
SB
а как они все один топик читают?
Партиций с запасом ;)
AA
Партиций с запасом ;)
а если надо увеличить?
A
сейчас есть сервис, который в гугловый pubsub кидает таски типа start=SomeClass и эти сообщения разлетаются по воркерам, которые на такую команду начинают усиленно жевать данные.
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
Но товарищи же наслушаются херни всякой на конференциях - а давайте не будем за гугл платить, а поставим кафку и воркеры будут прям топики читать и типа у нас будет only-once
А что правильно использовать как триггер систему? Если отвязаться от сервисов гугла, и взять осс
AA
А что правильно использовать как триггер систему? Если отвязаться от сервисов гугла, и взять осс
ну я вот на пульсар смотрю
A
А я правильно понимаю что кафка говно в роли брокера воркеров? Где сообщения простые типа start=SomeClass
А почему кстати?
AA
А почему кстати?
ну типа идея, что много входящих потоков сливаются во что, что можно усиленно жевать. А когда в одну дудку читают маленькие сообщения, то получается неэффективно
PD
а если надо увеличить?
200k мало?
AA
200k мало?
200k чего?
PD
партиций