GT
Какой сторадж? У нас просто native object store который доступен на облаке которое хочет клиент
Да, сорри, имел ввиду именно спарк и дизагрегейтид шафл
Size: a a a
2020 March 04
AZ
Да, сорри, имел ввиду именно спарк и дизагрегейтид шафл
у нас изначально для батча, там часто работают без dynamic allocation так что начали мы вообще без external shuffle service, но щас есть, запускаю на том же кубер кластере где ворклоад клиента
NB
Всем привет! Проблема следующая: есть поставленный локально спарк, и через Спарк шелл создал и заполнил базы данных и таблицы. Если я запускать просто тест с инициализацией spark session ( не spark submit), то видна только default бд. На какие настройки смотреть для синхронизации ?
RI
Всем привет! Проблема следующая: есть поставленный локально спарк, и через Спарк шелл создал и заполнил базы данных и таблицы. Если я запускать просто тест с инициализацией spark session ( не spark submit), то видна только default бд. На какие настройки смотреть для синхронизации ?
запускай шелл с указанием конфигов или в сам скрипт посмотри, что он верно определяет окружение
NB
Всем привет! Проблема следующая: есть поставленный локально спарк, и через Спарк шелл создал и заполнил базы данных и таблицы. Если я запускать просто тест с инициализацией spark session ( не spark submit), то видна только default бд. На какие настройки смотреть для синхронизации ?
Или я написал ерунду и для локальных тестов надо всегда внутри структуры пересоздавать
RI
Или я написал ерунду и для локальных тестов надо всегда внутри структуры пересоздавать
а что за БД?
NB
а что за БД?
Hive структуры
RI
hadoop тоже локально? Твой спарк не видит hadoop
AZ
Всем привет! Проблема следующая: есть поставленный локально спарк, и через Спарк шелл создал и заполнил базы данных и таблицы. Если я запускать просто тест с инициализацией spark session ( не spark submit), то видна только default бд. На какие настройки смотреть для синхронизации ?
в тестах метастор создается временный, вам надо туда пушить DDL перед тестами (или цепляться к живому метастору конфигами)
NB
Спасибо!
K
в коде спарка shim на версию хайва 3+ имеется только в мастер ветке
это мастер
https://github.com/apache/spark/blob/master/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1350
это 2.4 бранч
https://github.com/apache/spark/blob/branch-2.4/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1183
он просто не знает про третий хайв
это мастер
https://github.com/apache/spark/blob/master/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1350
это 2.4 бранч
https://github.com/apache/spark/blob/branch-2.4/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1183
он просто не знает про третий хайв
Сделайте таблицы external и все беды закончатся
A
и как это поможет спарку понять протокол нового хайва?
K
мы просто катаем cutting edge stack, все на JDK11, экспериментальные фичи по статистике, новый мониторинг и аккаунтинг тулинг
Что за акаунтинг
K
и как это поможет спарку понять протокол нового хайва?
Оно работает просто из коробки
A
спарк 2.4 с хайвом 3.1 из коробки?
K
На хортоне 2.3 спарк работал с третьим хайвом
A
если только это спарк собранный в дистри хортона с хортоновским хайвом
или клоудеровский с клоудеровским хайвом
или клоудеровский с клоудеровским хайвом
K
Главное экстернал таблицы
A
ну вот я про это и писал, что вендоры делают свои патчи