?

так можно убрать ненужный джойн, в принципе, да

спасибо 👍

хорошо 👌

только синтаксис там немного не такой

ну понятно )) это так, псевдокод

Здравствуйте, вопрос возник не совсем сюда.

По выбору БД

Сценарий такой: приложение делает действие определенное, и на него создает 1 млн заданий для воркеров по граббингу содержимого ссылок, например
Дальше воркеры получают данные, записывают их в бд, и меняют статус своего задания на выполненный

Скорость появления таких "1 млн заданий" быстрая, обычно там будет от 10000 до 100000 таких микрозаданий

Задания необходимо хранить только до момента выполнения всех "поручений", а потом можно все убирать связанное с ним

Вопрос: какую базу данных выбрать для создания больших куч по 1 млн заданий и ее редактирования?

На уме только кликхаус с его replacemergetree и хранением версий строк и какие-нибудь im-memory решения

Подскажите, пожалуйста, ключевое слово, а дальше я сам =)

эти задания все разные?

да, разные аргументы имеют

кликхаус точно не подходит - он с обновлениями не дружит

in-memory наверное хорошо бы подошло Вам, erlang / elixir

Спасибо, джентельмены!

альтернатива - rabbit, но я бы не советовал - у меня с ним ваще не задалось, падал, глючил. может конечно я не умею его готовить, но он явно переусложнен

rabbit || redis ?

mq-движки надо смотреть, хз. Зачем в базе хранить состояние воркеров парсера ссылок? Это же одноразовая запись, и после крэша бесполезная

redis streams куда проще реббита. у меня на данный момент решение на бд mysql c pub/sub на redis (пилил еще до того как завезли streams) с кучей воркеров и потоков - откровенно говоря работает не очень. то и дело дедлоки хватаю, очень много апдейтов в базу - лучше минимизировать и свести ее участие только к селекту + инсерту

редиска мне тоже нравиться, простота и на то и красота
— Аа, речь идет о redis streams.. не знал о таком.. посмотрим при не обходимости

Понял. Что бы я делал без вас!
Спасибо, что вы есть, ребята, вы лучшие!

👍