P
А почему оффсеты в Кафке не хранить? librd - тема согласен
😳
Size: a a a
2021 March 05
I
😮 я сказал какую-то дичь?
P
Офсеты в кафке хранятся всегда
P
Ну, можно включить хранение в zk
I
ну это понятно но ведь спарк ими например не пользуется а пользуется своими чекпоинтами. В примере Антона librd тоже этого не делает а опять таки берет из файлов своих. Вот и вопрос зачем это делается? Если можно попросить метадату у Кафки и получить финальные оффсеты.
P
ну это понятно но ведь спарк ими например не пользуется а пользуется своими чекпоинтами. В примере Антона librd тоже этого не делает а опять таки берет из файлов своих. Вот и вопрос зачем это делается? Если можно попросить метадату у Кафки и получить финальные оффсеты.
Так в чем проблема) её можно попросить
I
Так почему это спарк не делает
I
Зачем вообще они придумали чекпоинтиться в s3
I
Ты меня не понимаешь :(
P
Ты меня не понимаешь :(
Да. А вы - спарк
I
А по существу зачем спарк тянет оффсеты из checkpoint'ов?
t
А по существу зачем спарк тянет оффсеты из checkpoint'ов?
потому что он умеет стримить не только из кафки и им из коробки нужен универсальный подход к управлению чекпоинтами
t
если есть желание использовать оффсеты в кафке, то это можно реализовать достаточно быстро
I
Вот спасибо
I
Чего то я забыл совсем про то что оно умеет не только кафку читать.
P
AZ
diversity hire наверное
AT
пайплайн сломался наверно
I
В чате становится жарче
AB
В чате становится жарче
👍👍😂😂