У меня такая тупиковая ситуация возникла... с рекурсией и каналами, неожиданно.
У меня была функция которая рекурсивно нарезала картинку, в один поток. Рекурсия здесь была удобна потому что ну нарезка одинаковая, в зависимости только от уровня могли чуть параметры меняться, но не суть, тут рекурсия логично подходит вроде как.....
Потому что картинка режется допустим на 4 ровных куска, каждый из которых решится допустим на 5 и каждый из которых и тд, ну суть понятна
Так вот я решил пока без масштабируемости (rabbitmq, redis и тд) распаралелить задачу на каналах и воркерах на уровне одного инстанса
И столкнулся с такой проблемой что всё встаёт ;D
Я создаю буф канал с тасками на кол-во воркеров, допустим 4.
Когда пользователь грузит картинку, тут же создаётся 4 таски и отправляются в канал, воркер подхватывает, режит свою картинку и в этот же канал получается кидает следующие таски на разрезания уже каждый своей части.
И вот тут как я понимаю возникает проблема (без паник и прочего, что возможно ещё страшнее) когда задача зависает на уровне воркера (но в итоге может зависнуть и когда пользователь грузит картинку, потому что таска попытается отправиться в тот же канал), потому что он не может запушить задачу в канал (в тот же самый канал), потому что все воркеры заняты тем что пытаются запушить в канал и свободных нет ;DD
И я понимаю что проще всего использовать нормальный брокер и тд, это масштабируется и замечательно, но для примера я хотел сначала распаралелить задачу на уровне одного инстанса, а потом подрубить брокер ;)
Так вот, кто-нибудь знает как в таком случае рекурсивного записывания в канал быть? Мб статьи хорошие есть на эту тему? Мб семафоры всякие подрубать надо, а то я пока теоритечски пытаюсь разрулить, но всё что не приходит в голову вызывает мысль что это ТОЖЕ вызовёт в итоге блокировку ;D