всем привет, хочу обсудить один кейс. Есть таблица в бд с сущностями. У сущности есть дедлайн и задача сделать нотификацию с напоминанием о дедлайне. Общая схема - запускаем цикл, в котором через каждые 5 минут запрашиваем 10 сущностей, которые еще не напоминались, и отправляем это в месседжер какой нить типо кафки. Вопрос - как масштабировать такую систему? Например как следить по сколько забирать записей за раз, или с каким таймаутом, или как целостность тут поддерживать, что бы 2 инстанса не забрали одни и теже сущности, SELECT FOR UPDATE делать? но когда тогда завершать транзакцию. Делать UPDATE + RETURNING и сразу помечать нотификации как обработанные, но тогда может возникнуть проблема, что сущность отметили как напомненную, а во время отправки в месседжер паника случилась и мы нифига не отправили

спасибо, интересный вариант, о таком ни разу не думал

всем привет, хочу обсудить один кейс. Есть таблица в бд с сущностями. У сущности есть дедлайн и задача сделать нотификацию с напоминанием о дедлайне. Общая схема - запускаем цикл, в котором через каждые 5 минут запрашиваем 10 сущностей, которые еще не напоминались, и отправляем это в месседжер какой нить типо кафки. Вопрос - как масштабировать такую систему? Например как следить по сколько забирать записей за раз, или с каким таймаутом, или как целостность тут поддерживать, что бы 2 инстанса не забрали одни и теже сущности, SELECT FOR UPDATE делать? но когда тогда завершать транзакцию. Делать UPDATE + RETURNING и сразу помечать нотификации как обработанные, но тогда может возникнуть проблема, что сущность отметили как напомненную, а во время отправки в месседжер паника случилась и мы нифига не отправили

я делаю SELECT FOR UPDATE, которая сразу выставляет новый статус типа PROCESSING, и дальше уже работаю со статусом записи в воркере

да можно, это как раз вариант с UPDATE+RETURNING, только мы брали те у кого pid поле null и при обработке выставляли сначала PID, а потом is_complete

то есть транзакция забирает из очереди, выставляет новый статус, закрывает транзакцию, а потом уже работает с записью

то есть транзакция забирает из очереди, выставляет новый статус, закрывает транзакцию, а потом уже работает с записью

делаем

я делаю SELECT FOR UPDATE, которая сразу выставляет новый статус типа PROCESSING, и дальше уже работаю со статусом записи в воркере

ну у нас не такие прям большие нагрузки, хотя конечно очень интересно послушать, кто на какие камни натыкался при таком подходе

как разруливаете ситуацию, что воркер взял задачу, маркнул и приложение умерло

как разруливаете ситуацию, что воркер взял задачу, маркнул и приложение умерло