вот очень на это похоже, т.к. это одна сессия, и таблицу я дропаю перед записью. Чтобы новая создавалась без "мусора".

в этом и проблема

Коллеги, добрый день!

Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:

import java.util.Properties

val connectionProperties = new Properties()
connectionProperties.setProperty("Driver", "org.postgresql.Driver")
=>

import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null

В какую сторону копать? Какие действия предпринять?

Первый вариант:
Нужно подложить .jar с драйвером postgresql и при запуске указать конфиг с путём до этого файла.
— jars postgres-driver.jar

Драйвер можно стянуть с https://mvnrepository.com/repos/central

Второй вариант:
Указать зависимости и запаковать драйвер в jar который вы запускаете, в maven можно использовать для этого maven-shade-plugin

Третий вариант:
Если jar с драйвером уже есть, то проверить имя класса и пакет, который вы указываете в properties, и есть ли такой класс в jar файле с драйвером

jar файл подключен в настройках:

Но тем не менее, всё равно не подгружается

Не пробовали добавлять сюда ?

или так

На z.load ругается: <console>:27: error: value load is not a member of org.apache.zeppelin.spark.SparkZeppelinContext

у тебя это первый параграф ? и он %dep ?

О, нет, попробую это изменить, спасибо

Можно же просто получить лист колонок df.columns и проверить питоном
if colname in df.columns:
Не?

У чувака религия не позволяет

Он делает конфиги sql запросов

Пришет Interpreter dep not found

Сломался интерпретатор %spark в Zeppelin:

org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter
<…>
org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:39)
 at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1130)
 at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:630)
 at java.base/java.lang.Thread.run(Thread.java:832)

Подскажите, пожалуйста, в чём может быть ошибка?

кто-то уже искал быструю реализацию регекспов для спарка?

может есть готовая юдф

rlike медленная?