Господа, есть вопрос. Как правильно реализовать параллельную обработку задач из кафки, при этом не терять сообщения при фейле?
Насколько я понимаю, если просто читать сообщения из очереди, то либо читать по-одному (отказоустойчиво - если сфейлился, то перечитал сообщение и выполнил), либо читать батч, потом параллелить его обработку, но если сфейлится часть, то не получится отметить часть непрочитанными - либо все, либо ни одного

Как-то еще это можно сделать?

Вроде можно как-то на партиции разбить, и из нескольких партиций параллельно читать?

если у вас обработка сообщений идемпотентна, то можно фейлить батч

Действительно, спасибо

А если нет?

У меня переходный процесс от MVP до нормального состояния, и пока запросы не особо идемпотентны

Я не очень понимаю где вы паралелите: на уровне нескольких воркеров-сервисов или внутри одного сервиса.

Значит бить топик на партиции, иметь несколько консюмероы которые будут читать по одному сообщению.

Подскажите, где можно прочитать про память в слайсах. интересует вопрос, почему при использовании долгоживущих очередей, используйте связанные списки. а для короткоживущих слайсы.

могу предположить, что это связано с тем, что слайс память обратно не возвращает пока используется. Если у вас в какой-то момент очередь разрослась, и слайс увеличился до больших размеров, то вне зависимости от уменьшения его, память остается. А в связанном списке просто отдельные объекты.

Подскажите использовать init() в пакетах норм или считается плохой практикой?

Если можно без него, то лучше без него

Считается плохой практикой, но конечно есть исключения

инициализация map попадает под исключение?

🤷🏻‍♂️

Внутри сервиса

А зачем ее инициализировать именно в init?
Всегда можно добавить функцию типа Start() и начинать работу с пакетом именно с нее

благодарю

Действительно, зачем эта мапа вообще нужна непонятно и для чего ее сразу инициализировать тоже

Просто думал, что init() для этого и нужна.