В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

3187 membersпожаловаться на группу
2021 September 14

ЕГ

Евгений Глотов... in Data Engineers
А ты прописал spark.executor.extraClassPath?
источник
23:40пожаловаться#1

GP

Grigory Pomadchin in Data Engineers
я думаю что ты не так прокидываешь через конфиг сессии
источник
23:40пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
как ты кидашеь через конфиг сессии?
источник
23:40пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
код есть?
источник
23:40пожаловаться#4

ЕГ

Евгений Глотов... in Data Engineers
А spark.driver.extraClassPath?
источник
23:40пожаловаться#5

GP

Grigory Pomadchin in Data Engineers
может ты перетираешь класспас сессии и поэтому оно рушитс изза чегото другого
источник
23:41пожаловаться#6

T

T in Data Engineers
Через spark.jars и spark.driver.extraClassPath
источник
23:41пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
это в сабмите или программно?
источник
23:41пожаловаться#8

ЕГ

Евгений Глотов... in Data Engineers
А экзекутор
источник
23:41пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
+
источник
23:41пожаловаться#10

T

T in Data Engineers
Это в сесси
источник
23:41пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
что эт значит
источник
23:41пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
sticker.webp
(46.44 Кб)
источник
23:41пожаловаться#13

ЕГ

Евгений Глотов... in Data Engineers
Ну типа спарксешн.буилд.конф(...).геторкриейт
источник
23:42пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
я и спрашивал про кусок кода показать
источник
23:42пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
sticker.webp
(36.23 Кб)
источник
23:42пожаловаться#16

T

T in Data Engineers
У меня скала repl я от туда дёргаю создание Спарк сесси с и в нее прокидываю конфиг
источник
23:42пожаловаться#17

GP

Grigory Pomadchin in Data Engineers
короче так не пойдет
источник
23:42пожаловаться#18

GP

Grigory Pomadchin in Data Engineers
у тебя сессия уже там есть
источник
23:42пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
хм или нет?
источник
23:42пожаловаться#20