просто вот ровно в данный момент я пытаюсь запустить спарк 3.2.0
они для него долго и упорно пытались переехать со скалы 2.12.10 на более свежую минорную версию
насоздавали вагон багов в скала компиляторе, потому что выдавал неправильный код
в 3.2.0 наконец переехали на 2.12.15
пытаемся запустить через ливи
получаю на старте
21/10/13 16:35:51 INFO driver.RSCDriver: SparkContext not yet up, queueing job request.
Exception in thread "pool-3-thread-1" java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.livy.repl.SparkInterpreter.start(SparkInterpreter.scala:52)
at org.apache.livy.repl.Session.$anonfun$start$1(Session.scala:128)
at scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659)
правильно, ливи то у меня собрана с 2.12.10
и теперь вопрос:
1. пересобрать ливи на новую версию, но тогда вопрос что со всеми старыми спарками 3.0/3.1 будет
2. откатить уже самому спарку все версии обратно до 2.12.10
но в чате рассказывают про хорошую совместимость скалы