Size: a a a

2020 March 23

GP

Grigory Pomadchin in Data Engineers
Dasha
Добрый день! Отправили к Вам из чата по Spark (хотя вопрос не про hadoop)
из хадупа тут только название (слаг) hadoopusers (исторические причины)
источник

D

Dasha in Data Engineers
Ага, хорошо, спасибо, понятно
источник

АЖ

Андрей Жуков in Data Engineers
Dasha
Коллеги, добрый день!

Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:

import java.util.Properties

val connectionProperties = new Properties()
connectionProperties.setProperty("Driver", "org.postgresql.Driver")

=>
import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null
А как драйвер подключен?
источник

D

Dasha in Data Engineers
connectionProperties.setProperty("Driver", "org.postgresql.Driver”)
источник

D

Dasha in Data Engineers
в zeppelin в интерпретаторе %postgresql этот же драйвер работает
источник

D

Dasha in Data Engineers
А из Spark - нет
источник

АЖ

Андрей Жуков in Data Engineers
А это из цепелина вызывается все?
источник

DZ

Dmitry Zuev in Data Engineers
Dasha
Коллеги, добрый день!

Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:

import java.util.Properties

val connectionProperties = new Properties()
connectionProperties.setProperty("Driver", "org.postgresql.Driver")

=>
import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null
в спарке нужно через параметр спарка указывать
источник

GP

Grigory Pomadchin in Data Engineers
а что значит из спарка? как спаркокод вызывается и откуда?
источник

D

Dasha in Data Engineers
Grigory Pomadchin
а что значит из спарка? как спаркокод вызывается и откуда?
в zeppelin
источник

D

Dasha in Data Engineers
Dasha
Коллеги, добрый день!

Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:

import java.util.Properties

val connectionProperties = new Properties()
connectionProperties.setProperty("Driver", "org.postgresql.Driver")

=>
import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null
вот вызов
источник

АЖ

Андрей Жуков in Data Engineers
А в интерпретатор спарка джарник проброшен?
источник

GP

Grigory Pomadchin in Data Engineers
джарник постгревый в класспасе есть?
источник

D

Dasha in Data Engineers
Grigory Pomadchin
джарник постгревый в класспасе есть?
пыталась по туториалу вот так пробросить:
scala> :require postgresql-42.2.11.jar

почему-то :require postgresql-42.2.11.jar выдаёт ошибку:

<console>:1: error: illegal start of definition
:require postgresql-42.2.11.jar
^
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
на край руками попробуй сунуть в настройках интепретатора
источник

D

Dasha in Data Engineers
пробросила в spark.jars в интерпретаторе spark, не заработало
источник

D

Dasha in Data Engineers
на z.load ругается: <console>:27: error: value load is not a member of org.apache.zeppelin.spark.SparkZeppelinContext
источник

GP

Grigory Pomadchin in Data Engineers
а покаж как добавлен жарник был?
источник

D

Dasha in Data Engineers
хм, только пишет, что админы меня забанили: “The admins of this group have restricted…” при попытке добавить скриншот
источник