MK
lowkiq - это не сразу появился, была более простая реализация для одной конкретной задачи
Size: a a a
2019 October 07
MK
нужно было индексировать сущности в эластик по их id
AD
ну смотри, у вас проблема в порядке выполнения и в поочередной обработке списка задач (не важно как сгрупированных). по сути, тут можно взять что-то уже готовое, а можно натянуть все это на сайдкик (ну или написать все самому). вот интересно, как решаются подобные вещи и интересно, почему все так на сайдкик завязаны в котором куча архитектурных проблем
MK
т.е. взять id, вычитать из бд несколько связанных сущностей, сделать документ, положить в эластик
MK
ну смотри, у вас проблема в порядке выполнения и в поочередной обработке списка задач (не важно как сгрупированных). по сути, тут можно взять что-то уже готовое, а можно натянуть все это на сайдкик (ну или написать все самому). вот интересно, как решаются подобные вещи и интересно, почему все так на сайдкик завязаны в котором куча архитектурных проблем
давай я дойду до сути и будет видно
и да lowkiq - это не плагин для сайдкика, у них нет ничего общего
и да lowkiq - это не плагин для сайдкика, у них нет ничего общего
MK
этот проект назывался indexer
MK
если я правильно помню, то делался он для того, чтобы не индексировать по 100500 раз одно и тоже и снизить нагрузку таким образом
MK
«очередь» представляла собой простое множество в редисе
MK
что-бы это можно было масштабировать - это множество разбивалось на шарды по id
MK
и каждый шард обрабатывался выделенным тредом
MK
для этой задачи не важен порядок задач
MK
упавшие задачи складывались обратно в ту же очередь
MK
из мониторинга был только размер очереди
MK
потом решили идею с однопоточной обработкой перенести на обработку сообщений из сторонней системы
MK
т.к. там были дедлоки
MK
и для некотороых сообщений мжно было отбросить предыдущие сообщения из очереди
MK
теперь почему sidekiq-grouping не подходит
MK
как он работает?
MK
есть родная sidekiq очередь
MK
а есть буфер от sidekiq-grouping