Д
если будете использовать персистентные очереди, то не потеряете
очередь — это спейс, такой-же, как и тот, что хранит любые другие данные
Size: a a a
2020 October 04
MA
MA
для очереди под такую задачу могу порекомендовать попробовать https://github.com/moonlibs/xqueue
она изначально делалась для работы "внутри" приложения
т.е. вы при сохранении в свой спейс в то-же транзакции делаете put в очередь
а у очереди можно сделать
она изначально делалась для работы "внутри" приложения
т.е. вы при сохранении в свой спейс в то-же транзакции делаете put в очередь
а у очереди можно сделать
worker, который работает внутри, в виде файбера, без необходимости делать отдельных, внешних воркеров.NR
лить все транзакции в очередь и из очереди (возможно пачками) коммитить в постгрю
Будет же дублирование данных
NR
Не лучше файберам реплицировать прямо из спейсов?
MA
Nemat Rakhmatov
Будет же дублирование данных
Дублирование будет только на объём неотреплицированных данных
MA
Nemat Rakhmatov
Не лучше файберам реплицировать прямо из спейсов?
Подскажете как именно вы предлагаете "прямо из спейсов"?
NR
Дублирование будет только на объём неотреплицированных данных
Реплицировать и удалить будете?
NR
Подскажете как именно вы предлагаете "прямо из спейсов"?
Селекты из спейсов, не реплицированные данные
MA
Очередь нужна для того, чтобы демпфировать скачки нагрузки или переждать временный отказ без потери данных
NR
Да я понимаю для чего нужна очередь
NR
У меня опыт с тарантулом мало, и мои мысли это просто рандом мысли, так сказать, альтернатива вашим 😊
NR
У очереди есть бесспорные плюсы
MA
Nemat Rakhmatov
Селекты из спейсов, не реплицированные данные
Это вариант, но у него есть минусы
во первых нужно доп. поле + индекс на него. это лишняя память, которая будет у всех таплов.
тогда, как у очереди нормальное состояние пустое
второй минус — трекинг удалений и апдейтов
во первых нужно доп. поле + индекс на него. это лишняя память, которая будет у всех таплов.
тогда, как у очереди нормальное состояние пустое
второй минус — трекинг удалений и апдейтов
MA
по сути очередь — это управляемый программно WAL ;)
NR
да минусы есть и они известные минусы
NK
Тарантул вам мог бы сэкономить ресурсы пг, если бы вы делали в тарантуле агрегацию. Например, прошли три операции над одной записью: инсерт, два апдейта. А в пг отправляете сразу результат трёх операций
NR
А если внешняя тулза которая напрямую с тарантул WAL работает?