ну я к тому что почему то не надо было в кодоген лазить

мне кажется ты имеешь ввиду какието более сложные случаи

я могу понять как тебе такое бы помогло для твоего котлен интеропа в свое время

обычно хватает инфы во время падения
но конечно хорошая фича, удобно что можно кодоген посмотреть

мне кажется тоже речь про какие то более мудреные случаи:
scala> spark.range(1).select(lit(null).alias("foo")).as[Foo].show
+----+
| foo|
+----+
|null|
+----+


scala> spark.range(1).select(lit(null).alias("foo")).as[Foo].collect
java.lang.NullPointerException: Null value appeared in non-nullable field:
- field (class: "scala.Int", name: "foo")
- root class: "Foo"
If the schema is inferred from a Scala tuple/case class, or a Java bean, please try to use scala.Option[_] or other nullable types (e.g. java.lang.Integer instead of int/scala.Int).

да, согласен

Да, конечно

Не, я-то просто печатал сгенерированный код, мне бы дебаг особо не помог, исправить можно было что-то только пристально разглядывать и думать почему так криво сгенерировалось

А вот когда я джобы писал я постоянно плакал что Спарк не печатает где случилась херня

Пайплайн на сотни строк и где-то что-то пошло не так

покеш пример какой нить, интересно ж

Ну упрощённо это как раз выглядело как read-join-aggregate-write

мне кажется что ты там делал Some(null)

или что-то такое

или использовал тупелевельные датасеты

))))

Вроде как раз пишет, когда падает где-то. Только в кластере сложнее это найти в логах

Ну или на выходе ноль строк, да...

Что-то такое было, да. Но возникло сильно больше одного раза в разных ситуациях,я просто научился глазами разбирать сгенерированный код со временем

Кто-нибудь на windows server решал вопрос автоматизации конвейеров данных? По типу работы Apache airflow.. Поделитесь опытом, плз.

Вообще, как на винде решается задача запуска и мониторинга отработки скриптов по времени?