Ну если все ноды это одна, то всё)

А так - с чем упал экзекутор, то и пересчитается

Всем привет!
У меня возникла проблема, подскажите есть ли варианл елегантно ее решить?
создаю ctl поток, читаю из разных таблиц, джоиню, всячески фильтрую данные.
В итоге сохраняю данные в выходную таблицу следующим образом.

final
   .write
   .partitionBy("report_date", "product_id")
   .mode("overwrite")
   .saveAsTable(schema_out.table_out)

По идее "product_id", и "report_date" - это какой-то один продукт (к примеру
равен 03) за current_date. По невнимательности в поле product_id попал NULL.
И теперь мой поток пишет в две партиции product_id=03 и
product_id=__HEVE_DEFAULT_PARTITION__

В hdfs это выглядит следующим образом
/data/.../schema_out/table_out/report_date=2021-12-28
"product_id=00"
...
"product_id=03"
"product_id=__HEVE_DEFAULT_PARTITION__"

Доло в том что поток уже в проме. Другие потоки, которые имеют тот же product_id
падают из-за моего. Можно ли что-нибудь предпринять не вводя hotfix'ов потока?

А в чём проблема с нулл?

Я так понимаю из-за того, что у меня в поле product_id кроме моего 03 есть еще NULL, появляется еще партиция "product_id=HEVE_DEFAULT_PARTITION"

И как-то из-за этого падают потоки моих коллег, у которых product_id тоже 03 и они пишут в эту же таблицу

Это мои догадки

Чем не устраивает эта партиция?

Потоки падают, потому что не надо двумя джобами в одну папку писать

с аппендом то можно

Не, они ломают друг другу _temporary

Если не сделать v2 аутпуткоммиттер

Что скорее всего не сделано

Отсюда по подробней пожалуйста

Спасибо!

Всем привет. А как spark работает с вью hive через HiveContext?

Кто в итоге вью собирает hive или spark?

HiveContext? Это из какого года?🤔
Спарк берёт всю инфу из метастора, сам строит план запроса и читает данные

С обычными таблицами все так, а вот с вьюхами ощущение такое, что нет. В Spark UI ничего не происходит, после 20 минут начинается движуха. 🤷‍♂️  Spark 2.4.0