ПФ
Учитывая то что inorder доставку обеспечить практически нереально timestamp не особенно спасает, нет?
Size: a a a
2021 October 04
ЕГ
Да тупо фильтрануть записи, которые обновились в запрашиваемый период
AE
фильтрануть по ts > last_ts
AE
и вставить что не отбросилось
AE
jinx!
ЕГ
Ну если там апдейты есть, то уже либо худи, либо чёт другое
ПФ
Сработает только при inorder доставке. Иначе у тебя будут теряться айтемы, которые созданы раньше чем то, что записано
ЕГ
Не, ну бывает допустим качаешь хмл справочник на 30 гигов в зипе, и у него нет таймстемпа😆
ЕГ
А можно поподробнее про inorder?
ПФ
Ну доставка в строгом порядке
ЕГ
Как можно что-то потерять, если мы качаем пачками по дате например
ЕГ
Сегодня за вчера
ПФ
А, ну мы же про стриминг говорили вроде
AE
если out of order, то зачем вообще делать вставку? можно дропнуть ранее набранное и заменить новым, с долитыми данными
ЕГ
Кстати да, нафиг вообще предыдущий срез🤔
ЕГ
Хотя, как раз понять, что поменялось
AE
если же новый срез не полностью включает старый, то да, борода
ПФ
Если стриминг - то гарантировать сохранение хронологии в распределённой системе при более чем одном читателе по сути нереально
ЕГ
А откуда стриминг? Разве стримингом отправляют полносрез?😐
ПФ
Ну раз спрашивали про худи - я решил что вопрос о том, как нам добавлять те данные, которых ещё нет