ЕГ
Надёжнее всего руками посчитать
Size: a a a
2021 October 04
ЕГ
А в каком смысле считать дельту? Обычно все получают дельту и пытаются её вмёрджить в существующие данные
ЕГ
У тебя обратный кейс - приходит всё, и надо получить только новый кусок?
ПФ
А без них дельту нельзя использовать?
ПФ
У Спарка же нет стратегии вотермаркинга, а late arriving в каппе бывает часто. Или я что-то не так понимаю?
T
Ну чёт то что я видел без него она проигрывает худи
ПФ
Есть, стриминговый и понятный
ПФ
Это антиджойн что ли?
ЕГ
Нууу тип того
ПФ
Звучит дорого
ЕГ
Если данные изначально по ключу разложить, то ок
ЕГ
Я использую хэш от ключа по модулю 100, например
K
Да, все верно не хранить весь срез, а высчитать новый кусок, и добавлять к существующей таблице
ЕГ
И гоняю в параллель N/100 джобов
ЕГ
Может проще с источником договориться на апдейты?)
ЕГ
А, или апдейтов нет, только инсерт
ЕГ
Попросите источник завести дату инсерта
ЕГ
Задача исчезнет)
AE
дурная задача, если таймстампа нет
AE
а если есть, то в чём вообще суть вопроса