Поменять начальника

Так себя только закомплексованные гандоны ведут

Зачем тебе такой начальник?

Немножко пространный вопрос. Есть http-сервак, у которого POST-обработчик, который получает стопку файлов. Он запихивает их в Mongo GridFS по очереди, получает айдишники от БД, и кидает их в RabbitMQ на обработку(чтобы не гонять через RabbitMQ сами многометровые файлы). Дык вот, на загрузке n-ного файла может случиться бяка, RabbitMQ недоступна, максимальная длительность запроса превышена, тому подобное. Это нормально обрабатывается, еррор сервак мне возвращает. Но в итоге у меня в Монге подвисают файлы с запроса, который как бы уже не нужен и их надо бы почистить(а в нормальной ситуации их чистят консьюмеры RabbitMQ)... Где бы почитать(особенно порадует со ссылками на гитхаб), как решать эту проблему? Я так понимаю, что мне надо всё это обернуть в некое подобие транзакции с роллбеком и коммитом... Или я сильно страдаю хернёй?

если монга, то проще сделать capped collection чтобы оттуда удалялись документы по TTL

угу, спасибо почитаю...

если подразумевается, что храниться всё равно будет всегда, то просто TTL продлить до бесконечности или переместить в не-capped коллекцию

тогда и чистить не надо, само сдохнет

не, хранится будет не всегда... консьюмер обрабатывает этот файл, удаляет его и кладёт обратно в это подобие микро-CDN уже обработанный. И вот он уже будет доступен неограниченное время. В принципе завести две БД с GridFS, одну с TTL, другую без... Почитаю, спасибо ещё раз)

Надеюсь, это не один инстанс монги 😂

А что такого? Это мой мелкий пет-проект, потыкать пальчиками во всё это) Тут критична именно обработка файла, на моём 8700К она занимает 5-10 минут и процентов 50-70 проца, а я хочу запустить это всё моих малинках... Всё остальное - мелочи, в день там будет десятка три запросов по 30-40 мелких файлов, думаю, монга справится с такой тяжелой работой. Или я тебя не понял.

а что хоть за файл такой, что его надо 5-10 мин обрабатывать?

картинка, обычная картинка)

печаль

в 8k...

source raw

не-а, это самописная либа, которая последовательно аппроксимирует картинку, получает приближение 1/2/3..N а потом собирает из них mp4)
что-то наподобие https://github.com/fogleman/primitive

Привет
У меня есть проект где нужно будет сгенерировать 3 бинарника: app, billing, tenant
И в последствий у меня получилось такая схема, в каждом из internal папок есть папки delivery, service, repository где контроллеры, бизнес логика, и обращения к базе данных, а домены (модели) я вынес в pkg
Правильную структуру ли я делаю, можете покритиковать?

https://imgur.com/tWLR2XB

Исходники покажи - без кода непонятно 🙈

Вынесение моделей в отдельный пакет обычно идёт рука об руку со спагетти кодом