JF
есть дф: нужно записать его в с3, сноуфлейк, gs
Size: a a a
2021 January 05
JF
и людям хорошим нужно в разных форматах
JF
хочу по красоте сделать
JF
сейчас у меня сделано последовательно
JF
но я делала как PoC
JF
понравилось, уже многие так хотят
JF
а получается ж не быстро
JF
вот я села смотреть что и как еще
N
бывает просто, что, например, кх из 10 раз 1 раз валится на записи. и надо перекореживать заново килотонны данных, чтобы перезаписать их в айсберг, куда они еще в прошлый раз норм заехали.
N
+ есть кейс, когда одни и те же сырые данные надо в будущем переобработать по-другому.
N
а они уже размножились по разным таргетам и единой версии правда нету.
N
+ насколько я помню, в foreachbatch api урезанный.
N
мы наваливаем сырье в hdfs, потом его следующий джоб разбирает по схеме, пуляет задания всем страждущим новой порции, а потом уже всякие разные джобы это берут и перекладывают/модифицируют/считают так как им надо и тогда когда оно им надо.
JF
ого, спасибо :)
JF
а вы стракчерд стриминг юзаете?
JF
+ насколько я помню, в foreachbatch api урезанный.
а что вместо него посоветуете?
JF
куда посмотреть?
GP
+ насколько я помню, в foreachbatch api урезанный.
это в каком плане?
GP
онж просто форич
GP
что там может быть еще