Size: a a a

2020 January 21

AZ

Alex Zhukovsky in rust_offtopic
λeonid Onokhov
если каждый документ надо отослать.
но экзактли ванс не гарантировать без совместных действий с клиентом
ну нам достаточно гарантировать что мы сформировали пакет в котором нет ни одного элемента который клиент уже бы получал
источник

AZ

Alex Zhukovsky in rust_offtopic
и при этом что мы ничего не забыли
источник

AZ

Alex Zhukovsky in rust_offtopic
а то что он по нему по сети не дойдет не так важно, если что еще раз скинут старую датуи мы пакет побольше сформируем
источник

λO

λeonid Onokhov in rust_offtopic
возьми персистентную очередь какую
источник

AZ

Alex Zhukovsky in rust_offtopic
ну вот мы на кафку думали, но там свои проблемы
источник

λO

λeonid Onokhov in rust_offtopic
а какой-нибудь кролик не прокатит?
источник

B

Bogdan in rust_offtopic
Alex Zhukovsky
Короч вопрос такой: у нас есть 3 party чувачки которые хотят раз в сколько-то минут получать апдейт - всё, что поменялось с последнего обращения.  Сложность в том, что нужно гарантировать exactly once отправку обновлений по каждой сущности.

Всё что придумали - хранить все версии документов, и использовать журналирование изменений чтобы понимать какие версии каких документов поднимать.

Звучит рабоче, но мб есть варианты получше? Кто что может предложить?
RabbitMQ
Amazon SQS
источник

AZ

Alex Zhukovsky in rust_offtopic
λeonid Onokhov
а какой-нибудь кролик не прокатит?
нужна гарантия что пока идет процессинг туда не упадет лишнего
источник

λO

λeonid Onokhov in rust_offtopic
какую-то дичь пытаетесь сделать
источник

AZ

Alex Zhukovsky in rust_offtopic
λeonid Onokhov
какую-то дичь пытаетесь сделать
да нет, суть простая, у нас есть клиент, и мы ему раз в столько-то минут шлем: поменялись вот такие документы: a,b,c,d
источник

VK

Vladimir Kurchatkin in rust_offtopic
Про нужно писать весь лог изменений с автоинкрементными айдишниками. В любой момент можно запросить все изменения с id > последний увиденный id
источник

AZ

Alex Zhukovsky in rust_offtopic
с последним содержимым этих документов на эту дату
источник

AZ

Alex Zhukovsky in rust_offtopic
Vladimir Kurchatkin
Про нужно писать весь лог изменений с автоинкрементными айдишниками. В любой момент можно запросить все изменения с id > последний увиденный id
смысл именно в том, что нужна версия документа с определенной айдишкой. Между тем как мы получили айдишку и запросили по ней тело документа это тело могли поменять
источник

λO

λeonid Onokhov in rust_offtopic
ну кроме хранения версий и потом сборкой мусора как сделать то?
источник

AZ

Alex Zhukovsky in rust_offtopic
не знаю, вот я и спросил
источник

AZ

Alex Zhukovsky in rust_offtopic
я лично ничего придумать не смог кроме снапшотинга каждых всех и периодическим шринком
источник

VK

Vladimir Kurchatkin in rust_offtopic
Alex Zhukovsky
смысл именно в том, что нужна версия документа с определенной айдишкой. Между тем как мы получили айдишку и запросили по ней тело документа это тело могли поменять
и в чем проблема? Ну получим более новые данные
источник

λO

λeonid Onokhov in rust_offtopic
карочи, делаешь у документа sequence :: Int, и после каждого изменения приращаешь. и записываешь номер последнего отосланного
источник

AZ

Alex Zhukovsky in rust_offtopic
Vladimir Kurchatkin
и в чем проблема? Ну получим более новые данные
в том что мы должны при следующей отправки отправить этот документ, а мы его уже получается отправили. exactly once нарушается
источник

λO

λeonid Onokhov in rust_offtopic
ну и версии,да
источник