всё так, но было сложно не обратить внимание. если скинешь всю ошибку и код который к ней то кажется что будет сильно проще помочь.

[36mDiscovery starting. [0m
[36mDiscovery completed in 3 seconds, 788 milliseconds. [0m
[36mRun starting. Expected test count is: 213 [0m
[32mOTLTailTest: [0m
[31m*** RUN ABORTED *** [0m
[31m  java.lang.ExceptionInInitializerError: [0m
[31m  at ot.scalaotl.Converter$.getClassByName(Converter.scala:166) [0m
[31m  at ot.scalaotl.Converter$$anonfun$getTransformers$1.apply(Converter.scala:85) [0m
[31m  at ot.scalaotl.Converter$$anonfun$getTransformers$1.apply(Converter.scala:72) [0m
[31m  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) [0m
[31m  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) [0m
[31m  at scala.collection.immutable.List.foreach(List.scala:392) [0m
[31m  at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) [0m
[31m  at scala.collection.immutable.List.map(List.scala:296) [0m
[31m  at ot.scalaotl.Converter.getTransformers(Converter.scala:72) [0m
[31m  at ot.scalaotl.Converter.<init>(Converter.scala:58) [0m
[31m  ... [0m
[31m  Cause: java.lang.NullPointerException: [0m
[31m  at scala.collection.mutable.ArrayOps$ofRef$.newBuilder$extension(ArrayOps.scala:190) [0m
[31m  at scala.collection.mutable.ArrayOps$ofRef.newBuilder(ArrayOps.scala:186) [0m
[31m  at scala.collection.TraversableLike$class.filterImpl(TraversableLike.scala:246) [0m
[31m  at scala.collection.TraversableLike$class.filter(TraversableLike.scala:259) [0m
[31m  at scala.collection.mutable.ArrayOps$ofRef.filter(ArrayOps.scala:186) [0m
[31m  at ot.scalaotl.CommandFactory$$anonfun$4.apply(CommandFactory.scala:68) [0m
[31m  at ot.scalaotl.CommandFactory$$anonfun$4.apply(CommandFactory.scala:68) [0m
[31m  at scala.Option.flatMap(Option.scala:171) [0m
[31m  at ot.scalaotl.CommandFactory$.loadCommandsInfo(CommandFactory.scala:68) [0m
[31m  at ot.scalaotl.CommandFactory$.<init>(CommandFactory.scala:29) [0m
[31m  ... [0m

это похоже на ошибку в вашем коде а не в спарке дело

этот код работает в проде

если что-то где-то работает, то не значит что там нету ошибок которые чуть в других условиях выстреливают

у нас через трейт подсовывается конфа для тест кластера
драйвер локально остаётся запускаться, но вот воркеры уже в тестовом

но таких тестов немного, только те где действительно надо

В коде уверен, если руками засабмитить - ок + тесты в локале прекрасно отрабатывают.
Думаю я что-то не понимаю в механизме runner.run

Всем привет! Хочу мигрировать таки текущие спарк job-ы на Spark 3.2 + Scala 2.13 - но вот беда, в EMR сейчас только 3.1 (даже на самом деле 3.1.2-amazon-edition :) )  и K8S с Livy еще застрял на 3.1 - есть ли какой-то шанс - что заведется на Spark 3.1 все или надеятся нет смысла и придется еще остаться с 2.12?

@plavreshin 3.1 не сапортит 2.13; и бинари сбилженые под 3.2 на 3.1 кластере не взлетят (2.12);
собери кубер имежи с 2.13 и пуляй их

они там изменили внутри экспрешоны и они терь бинарно несовместимы 🙂

попробую, но это надо пройти "политбюро" сначала что может не одобрить мои хотелки избавиться от 2.12 🙂 спасибо @pomadchin !

хотелка хорошая; можешь начать с кроссбилда проектов в 2.12/2.13

сурс совместимы версии спарков получились (‘почти’)

1. ливи не добавляли сборку своей jar для запуска на драйвере со скалой 2.13, но думаю там можно пофиксить
2. текущая сборка ливи не полетит даже со спарком 3.2 + scala 2.12

спасибо @xhumanoid !

просто вот ровно в данный момент я пытаюсь запустить спарк 3.2.0

они для него долго и упорно пытались переехать со скалы 2.12.10 на более свежую минорную версию
насоздавали вагон багов в скала компиляторе, потому что выдавал неправильный код
в 3.2.0 наконец переехали на 2.12.15

пытаемся запустить через ливи
получаю на старте

21/10/13 16:35:51 INFO driver.RSCDriver: SparkContext not yet up, queueing job request.
Exception in thread "pool-3-thread-1" java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.livy.repl.SparkInterpreter.start(SparkInterpreter.scala:52)
at org.apache.livy.repl.Session.$anonfun$start$1(Session.scala:128)
at scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659)

правильно, ливи то у меня собрана с 2.12.10

и теперь вопрос:
1. пересобрать ливи на новую версию, но тогда вопрос что со всеми старыми спарками 3.0/3.1 будет
2. откатить уже самому спарку все версии обратно до 2.12.10

но в чате рассказывают про хорошую совместимость скалы

и в какой-то момент он был именен с
scala/tools/nsc/Settings.usejavacp:()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
на
scala/tools/nsc/Settings.usejavacp:()Lscala/tools/nsc/settings/MutableSettings$BooleanSetting;

в датаинженер чате отписывал пару недель назад

пересобрал уже ливи с последней версией скалы (2.12.15), но ещё не провёл все тесты, поэтому ничего не могу сказать по этому поводу

в частности вот этот модуль репл должен быть собрать под 2.13 сразу
он уходит на драйвер и по бинарному протоколу ливи общается с драйвером чтобы отправить код на выполнение

https://github.com/apache/incubator-livy/tree/master/repl