spark.read и  load table

в спарке есть python/lib/* его в путонпаз над добавить и все

+

а те надо слфж апи

и сабмитить естесна через bin/spark-submit, а не через python

не ту либу добавил

наверное можно и через петон но да мож чо не включил

ну там ж тонна всяких енвов параметров и прочего

ет да

задолбаешься все руками пропихивать

slf4j-api-1.7.25.jar
slf4j-simple
slf4j-log4j12-1.7.32.jar

больше джаров )

pyspark под капотом выполняет spark-submit

Народ. Может кто подскажет?
Никак не могу понять как мне заиспользовать один resources для нескольких модулей в одном проекте
У меня есть папка в корне проекта
src/test/resources
В ней лежат соответствующие файлы для тестов
в sbt я прописал такое:
scalaVersion in ThisBuild := "2.11.8"
autoScalaLibrary in ThisBuild := false
resourceDirectory in Test := baseDirectory.value / "src" / "test" / "resources"

Далее в тестах для конкретного модуля пытаюсь прочитать файл из ресурсов:

val configFile = "app_config.conf"
val configTest: Config = Option(getClass.getClassLoader.getResource(configFile)).fold {
 println(s"Config not found!")
 ConfigFactory.load()
} { resource: URL =>
 ConfigFactory.load(configFile)
}

Замечу. Папка с ресурсами лежит не в самом модуле а в корне проекта
идет ругань что файла нет
Что то не пойму где мне еще указать модулю откуда брать файл ресурсов

Ресурсы положить в папку тест проекта иерархически как в код? И не мучаться?

Для модулей используется общий файл конфига. Модулей много. Если в кофиг файле будут изменения - придется их менять в тестах во всех модулях.

Тогда тащи по абсолютному пути(

Доброе утро
Подскажите, пожалуйста, при попытке из таблицы res обратиться в селекте к полям одной из таблиц, участвовавшей в создании таблицы res, выдаёт ошибку org.apache.spark.sql.catalyst.parserParseException:
== SQL ==
balance
Пытаюсь в selectExpr вывести определенные поля

Никто не в курсе из-за чего это?

res.select($“alt#col1”) работает корректно
res.selectExpr(“alt#col1”) не работает
Если передавать другую колонку, то работают оба варианта