Телеграмм чат группы hadoopusers страница 1494

Как-то пропустил что метасторы разделились, может сказать автору чтобы поправили описание? По сути ведь проблема в том что Spark не умеет читать ACID таблицы Hive, все остальное это просто способ огородить пользователей и дать им адаптер..

источник

15:29пожаловаться #10

K

KrivdaTheTriewe in Data Engineers

Anton Zadorozhniy

Как-то пропустил что метасторы разделились, может сказать автору чтобы поправили описание? По сути ведь проблема в том что Spark не умеет читать ACID таблицы Hive, все остальное это просто способ огородить пользователей и дать им адаптер..

там коннектор к хайв 3 метастору выглядит оч ущербно

источник

15:30пожаловаться #11

AZ

Anton Zadorozhniy in Data Engineers

KrivdaTheTriewe

там коннектор к хайв 3 метастору выглядит оч ущербно

Там нет никакого конвектора к метастору, о чем это вообще?

источник

15:31пожаловаться #12

K

KrivdaTheTriewe in Data Engineers

я оговорился, прошу прощения, к вархаусу

источник

15:31пожаловаться #13

K

KrivdaTheTriewe in Data Engineers

https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/integrating-hive/content/hive_hivewarehouseconnector_for_handling_apache_spark_data.html

Hortonworks

Hive Warehouse Connector for accessing Apache Spark data

The Hive Warehouse Connector (HWC) is a Spark library/plugin that is launched with the Spark app. You use the Hive Warehouse Connector API to access any managed Hive table from Spark. You must use low-latency analytical processing (LLAP) in HiveServer Interactive to read ACID, or other Hive-managed tables, from Spark.

источник

15:32пожаловаться #14

K

KrivdaTheTriewe in Data Engineers

https://github.com/hortonworks/hive-warehouse-connector

GitHub

hortonworks/hive-warehouse-connector

READ-ONLY copy of git clone https://gerrit.eng.hortonworks.com/r/hive-warehouse-connector - hortonworks/hive-warehouse-connector

источник

15:32пожаловаться #15

AZ

Anton Zadorozhniy in Data Engineers

Там есть HWC в девичестве Spark-LLAP который позволяет читать данные из Hive ACID таблиц, коннект к метастору остаётся такой же, если у вас нет ACID таблиц - читайте как прежде

источник

15:32пожаловаться #16

K

KrivdaTheTriewe in Data Engineers

ну вот речь про ACID а так работает как прежде, это правда

источник

15:35пожаловаться #17

AZ

Anton Zadorozhniy in Data Engineers

Там все что сделано (по-умолчанию) - это в заведён второй каталог в Hive Metastore (при этом метастор остаётся один), и в spark конфиге он подсовывается, поменяйте metastore.catalog.default со spark на hive и все сможете читать и писать

источник

15:35пожаловаться #18

AZ

Anton Zadorozhniy in Data Engineers

KrivdaTheTriewe

https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/integrating-hive/content/hive_hivewarehouseconnector_for_handling_apache_spark_data.html

Hortonworks

Hive Warehouse Connector for accessing Apache Spark data

The Hive Warehouse Connector (HWC) is a Spark library/plugin that is launched with the Spark app. You use the Hive Warehouse Connector API to access any managed Hive table from Spark. You must use low-latency analytical processing (LLAP) in HiveServer Interactive to read ACID, or other Hive-managed tables, from Spark.

источник

15:39пожаловаться #19

AZ

Anton Zadorozhniy in Data Engineers

Тут бестолковая картинка, лучше вот такую приводить

источник

15:39пожаловаться #20