GP
Size: a a a
2021 January 04
2021 January 05
☭S
Vitaly Pismarev
Окупится тот же консалтинг от аренадаты )
Это ещё бааальшой вопрос ;)
Oא
Уходи подлый спамер
☭S
У, тут рожа другая, картинка та-же ;)
JF
здравствуйте :) я с вопросом: поделитесь, пожалуйста, опытом использования foreachBatch в structured streaming - какие есть минусы и неприятные ньюансы? Хочу сделать следующее: мой df писать в разные клауды и в разных форматах одновременно. Спасибо!
N
Минус в том, что если посередине падает запись в 1 клауд, то умирает весь джоб.
N
И не всегда есть возможность его повторить.
JF
оно ж перечитает потом?
JF
JF
JF
я думала, что оно если зафейлится - просто перечитает
JF
ок, почитаю, спасибо
JF
это что ритраи костелять свои?
JF
или как выходят из такой ситуации обычно?
N
не, перечитать-то перечитает, я имел ввиду другие причины. например, данных уже нет. или времени на перезапуск уже нет.
JF
но вариант рабочий, я гуглю и вижу используют
N
наверняка, че нет-то.
GP
но вариант рабочий, я гуглю и вижу используют
да можно использовать мы прост не знаем всего контекста
GP
попробовать всегда можно если это на первый вглят кажется хорошим решением
GP
потом сломается уж можно чинить