В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1172 membersпожаловаться на группу
2021 October 19

ИК

Иван Калининский... in Moscow Spark
Подскажите, как создать вторую сессию Spark с независимыми настройками и при этом не стопить SparkContext.
Нужно для чтения из удалённого hive metastore, так что если есть опции, предлагайте, пожалуйста
источник
10:59пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
Сессия сжирает клиент, который её запустил, целиком, не варик
Даже стопать и поднимать заново - там какие-то объекты остаются, из-за которых может подняться не так, как с нуля
источник
11:40пожаловаться#2

ЕГ

Евгений Глотов... in Moscow Spark
Под удалённым метастором скорее всего сидит удалённый хдфс, можно читать оттуда
источник
11:41пожаловаться#3

ИК

Иван Калининский... in Moscow Spark
Получается, надо и контекст другой и вообще надо спец коннект, чтобы основную сессию не порушить?
источник
11:41пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
Сбер как-то сделал хайв федерацию, чтоб соединить метасторы через сам хайв, типа экстернал хайв
источник
11:42пожаловаться#5

ИК

Иван Калининский... in Moscow Spark
читаем, да, но надо из хайва локейшен получить
источник
11:42пожаловаться#6

ЕГ

Евгений Глотов... in Moscow Spark
Если таблица мэнэджед, то локейшен там фиксированный
источник
11:42пожаловаться#7

ИК

Иван Калининский... in Moscow Spark
Федерация работает, не знаю, как с двумя разными частями работать
источник
11:43пожаловаться#8

ЕГ

Евгений Глотов... in Moscow Spark
А если экстернал, то она и нафиг не нужна)
источник
11:43пожаловаться#9

ИК

Иван Калининский... in Moscow Spark
EXTERNAL
источник
11:43пожаловаться#10

ЕГ

Евгений Глотов... in Moscow Spark
А тогда нафиг хайв
источник
11:43пожаловаться#11

ЕГ

Евгений Глотов... in Moscow Spark
Точно напрямую из хдфс без костылей
источник
11:43пожаловаться#12

ИК

Иван Калининский... in Moscow Spark
Схема в хайве - эталонная( И локейшен переменчивый
источник
11:43пожаловаться#13

ЕГ

Евгений Глотов... in Moscow Spark
Тогда чё за экстернал такой, кто это делал)
источник
11:44пожаловаться#14

ИК

Иван Калининский... in Moscow Spark
Вот бы так можно было
источник
11:44пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Приди набей лица там😆
источник
11:44пожаловаться#16

ИК

Иван Калининский... in Moscow Spark
я не уполномочен комментировать или разглашать информацию без распоряжения)))
источник
11:44пожаловаться#17

ИК

Иван Калининский... in Moscow Spark
Бить человека по лицу я с детства не привык
источник
11:45пожаловаться#18

ЕГ

Евгений Глотов... in Moscow Spark
Ну просто такое поведение как раз соответствует мэнэджед таблице
источник
11:45пожаловаться#19

ЕГ

Евгений Глотов... in Moscow Spark
Ну я образно)
источник
11:45пожаловаться#20