ЛZ
Если хочется больше гибкости и гарантий — можно использовать postgresql в качестве хранилища ;)))
Size: a a a
2020 November 23
АС
код обработки джобы надо написать так, чтобы не падало
зачем вам тесты?
вы что, не можете просто писать код без багов?
(с)
вы что, не можете просто писать код без багов?
(с)
АГ
зачем вам тесты?
вы что, не можете просто писать код без багов?
(с)
вы что, не можете просто писать код без багов?
(с)
не, просто обернуть в трай кетч, и если упало, положить джобу еще раз в очередь, с уменьшением счетчика оставшихся попыток.
ЛZ
У нас эти очереди работают на редисе в продакшене, 1000-2000 тасков в секунду прокачивается. Судя по тестам 500,000 в секунду сервер выдерживает.
АГ
У нас эти очереди работают на редисе в продакшене, 1000-2000 тасков в секунду прокачивается. Судя по тестам 500,000 в секунду сервер выдерживает.
тогда это уже данные а не задачи
ЛZ
тогда это уже данные а не задачи
Почему?
АГ
ну да, в принципе, можно всякие record deleted, record updated обрабатывать таким образом...
MM
таким образом можно обрабатывать всё что угодно. Просто у людей ссанина в головах. Распараллеливание, многопоточность, тьфу
ЛZ
таким образом можно обрабатывать всё что угодно. Просто у людей ссанина в головах. Распараллеливание, многопоточность, тьфу
Почему ссанина?
MM
потому что здесь нет никакого распараллеливания и быть по определению не может
ЛZ
потому что здесь нет никакого распараллеливания и быть по определению не может
Это ещё почему?
MM
Это ещё почему?
потому
NV
Ну про гарантию доставки у популярных брокеров есть механизмы коммитов сообщений если обработка прошла, а если сбой, то другие консьюмеры прочитают и попытаются обработать
АГ
один процесс кидает задачи, мониторит завершенные и выводит статус. другой обрабатывает задачи. 2 процесса, никакого распараллеливания с т. зр. потоков и т д нет, так же как и асинхронности
NV
Но я пожалуй спать пойду))) чувствую холивар будет))
AL
потому что здесь нет никакого распараллеливания и быть по определению не может
а что такое распаралеливание?
надо бы объяснить, чтобы другим было понятно.
надо бы объяснить, чтобы другим было понятно.
ЛZ
потому
Ну тебе например надо сгенерировать миллион каптчей, ты взял поставил в очередь миллион тасков, а сотня воркеров запущенных на нескольких серверах быстренько выгребла очередь и сгенерила
ЛZ
При этом менеджер процессов на каждом сервере автоматически подстраивает количество воркеров под свободные ресурсы
MM
Ну тебе например надо сгенерировать миллион каптчей, ты взял поставил в очередь миллион тасков, а сотня воркеров запущенных на нескольких серверах быстренько выгребла очередь и сгенерила
и в итоге мы получаем: 1 очередь, которая строго последовательно выдаёт каждому консамеру задачи, каждую из которых они выполняют конкурентно. И в итоге вся работа у тебя выполняется не параллельно, а конкурентно. разница маленькая, но существенная.
ЛZ
и в итоге мы получаем: 1 очередь, которая строго последовательно выдаёт каждому консамеру задачи, каждую из которых они выполняют конкурентно. И в итоге вся работа у тебя выполняется не параллельно, а конкурентно. разница маленькая, но существенная.
"которая строго последовательно выдаёт каждому консамеру задачи" в смысле?