Типа такого но там стэк длинны длинный

Внизу эксепшена вот такое

Caused by: java.lang.NullPointerException
  at scala.reflect.internal.SymbolTable.exitingPhase(SymbolTable.scala:256)
  at scala.tools.nsc.interpreter.IMain.tryTwice(IMain.scala:1140)
  at scala.tools.nsc.interpreter.IMain.symbolOfType(IMain.scala:1143)
  at scala.tools.nsc.interpreter.IMain.symbolOfIdent(IMain.scala:1142)
  at scala.tools.nsc.interpreter.IMain.translateSimpleResource(IMain.scala:346)
  at scala.tools.nsc.interpreter.IMain$TranslatingClassLoader.findAbstractFile(IMain.scala:362)
  at scala.reflect.internal.util.AbstractFileClassLoader.findResource(AbstractFileClassLoader.scala:66)
  at java.lang.ClassLoader.getResource(ClassLoader.java:1089)
  at java.lang.ClassLoader.getResourceAsStream(ClassLoader.java:1300)
  at scala.reflect.internal.util.ScalaClassLoader$class.classAsStream(ScalaClassLoader.scala:56)
  at scala.reflect.internal.util.AbstractFileClassLoader.classAsStream(AbstractFileClassLoader.scala:19)
  at scala.reflect.internal.util.ScalaClassLoader$class.classBytes(ScalaClassLoader.scala:50)
  at scala.reflect.internal.util.AbstractFileClassLoader.classBytes(AbstractFileClassLoader.scala:19)
  at scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:60)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:405)
  at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.java:40)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
  at java.lang.Class.forName0(Native Method)
  at java.lang.Class.forName(Class.java:348)
  at org.codehaus.janino.ClassLoaderIClassLoader.findIClass(ClassLoaderIClassLoader.java:89)
  at org.codehaus.janino.IClassLoader.loadIClass(IClassLoader.java:312)
  at org.codehaus.janino.UnitCompiler.findTypeByName(UnitCompiler.java:8469)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8712)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8381)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8384)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8384)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8384)
  at org.codehaus.janino.UnitCompiler.reclassifyName(UnitCompiler.java:8384)
  at org.codehaus.janino.UnitCompiler.reclassify(UnitCompiler.java:8244)
  at org.codehaus.janino.UnitCompiler.getType2(UnitCompiler.java:6768)
  at org.codehaus.janino.UnitCompiler.access$14100(UnitCompiler.java:215)
  at org.codehaus.janino.UnitCompiler$21$2$1.visitAmbiguousName(UnitCompiler.java:6410)
  at org.codehaus.janino.UnitCompiler$21$2$1.visitAmbiguousName(UnitCompiler.java:6407)
  at org.codehaus.janino.Java$AmbiguousName.accept(Java.java:4213)
  at org.codehaus.janino.UnitCompiler$21$2.visitLvalue(UnitCompiler.java:6407)
  at org.codehaus.janino.UnitCompiler$21$2.visitLvalue(UnitCompiler.java:6403)
  at org.codehaus.janino.Java$Lvalue.accept(Java.java:4137)
  at org.codehaus.janino.UnitCompiler$21.visitRvalue(UnitCompiler.java:6403)
  at org.codehaus.janino.UnitCompiler$21.visitRvalue(UnitCompiler.java:6382)
  at org.codehaus.janino.Java$Rvalue.accept(Java.java:4105)
  at org.codehaus.janino.UnitCompiler.getType(UnitCompiler.java:6382)
  at org.codehaus.janino.UnitCompiler.findIMethod(UnitCompiler.java:8939)
  at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5060)
  at org.codehaus.janino.UnitCompiler.access$9100(UnitCompiler.java:215)
  at org.codehaus.janino.UnitCompiler$16.visitMethodInvocation(UnitCompiler.java:4421)
  at org.codehaus.janino.UnitCompiler$16.visitMethodInvocation(UnitCompiler.java:4394)
  at org.codehaus.janino.Java$MethodInvocation.accept(Java.java:5062)
  at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4394)
  at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5575)
  at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2580)
  at org.codehaus.janino.UnitCompiler.access$2700(UnitCompiler.java:215)

Сорри за объемные месседжи

Да чето с кодогеном

Баг какой-то

а батч то тю тю?

то есть какое-то кол0во данных я потерял

Ну раз на генерации плана свалился то да

Я подозревал это

Ну ничего я все равно увольняюсь ахах

Да ты проверь просто

Да, это не так просто. Но конечно проверю

Если данные считывал из кафки, и ретеншн стоит не несколько минут - то не должен потерять данные. Если я правильно понял ситуацию

типа даж не начал читать даже? ну может быть

Спроси у тех кто поддерживает кафку, какой ретеншн стоит для топика, откуда ты читаешь

Если там настроено на сохранение данных несколько дней, то у тебя есть жто окно чтоб запроцесить данные

Иначе придется делать бэкфил из источников (если конечно они есть)

Не не все не так плохо это стриминг из RAW Delta таблицы.

А есть какие-то эксепшн handler'ы у спарка чтобы отлавливать такие месседжи. Я так понимаю вариант только делать foreachRDD и уже там решать как процессить.

А ну тогда все неплох. Насколько я знаю отдельного API для того чтоб отлавливать внутренние эксепшн спарк не предоставляет.

@DanteKPI а что стэковерфлоу/офф гит аккаунт датабрикса говорит?