Телеграмм чат группы hadoopusers страница 2139

в перспективе уйдём, но в данный момент имеется большая миграция, ещё и импалу заменять будет уже слишком =(

09:48пожаловаться #1

переезд между датацентрами
переезд с древнего хадупа 2.6 на 3.2
переезд с unsecured на kerberos

и если ещё и импалу перевозить то мы это не закончим никогда =)

09:50пожаловаться #2

АЖ

жесть

09:51пожаловаться #3

а, ну там ещё и переезд с хайва 1.2.0 на 3.1.1
вот с хайвом тоже местами жесть
бекпортили в наш спарк из мастера поддержку работы с ним

09:52пожаловаться #4

так как в 2.4 ветке нету работы с хайвом 3

09:52пожаловаться #5

АЖ

ну, чую, я лет через 5 такие же кулстори буду травить :)

09:53пожаловаться #6

Nikolay in Data Engineers

Anton Zadorozhniy

мы уже почти открутили импалу у всех клиентов, а вы прикручивать что-то к ней хотите 😊

А почему импала не зашла ?

09:53пожаловаться #7

АЖ

все когда-нибудь станет легаси :(

09:53пожаловаться #8

Stanislav in Data Engineers

так как в 2.4 ветке нету работы с хайвом 3

можно поподробнее?
эйсид или вообще работа с метастором?

09:53пожаловаться #9

АЖ

так как в 2.4 ветке нету работы с хайвом 3

ммм?

09:54пожаловаться #10

Anton Zadorozhniy in Data Engineers

Nikolay

А почему импала не зашла ?

как чистый sql движок presto намного гибче, а как замена MPP СУБД настоящая MPP СУБД намного лучше

09:54пожаловаться #11

Apache Spark. Contribute to apache/spark development by creating an account on GitHub.

в коде спарка shim на версию хайва 3+ имеется только в мастер ветке

это мастер
https://github.com/apache/spark/blob/master/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1350

это 2.4 бранч
https://github.com/apache/spark/blob/branch-2.4/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1183

он просто не знает про третий хайв

GitHub

apache/spark

09:55пожаловаться #12

https://github.com/apache/spark/blob/branch-2.4/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/package.scala#L28

GitHub

apache/spark

Apache Spark. Contribute to apache/spark development by creating an account on GitHub.

09:56пожаловаться #13

Anton Zadorozhniy in Data Engineers

так как в 2.4 ветке нету работы с хайвом 3

да, это spark3 все, мы тут катаем превьюхи со standalone hive metastore, вообще без хадупа

09:56пожаловаться #14

список версий с которыми умеет 2.4 работать

09:56пожаловаться #15

хортоны и склоудера патчили свои сборки чтобы с хайвом 3м работать

09:56пожаловаться #16

причем у хортона и хайв запатченный, апи меняли в либах

поэтому спарк 3й апачевский с ним не работает
или спарк хортоновский с апачевским не работает

тут уж как посмотреть =)

09:57пожаловаться #17

Serg Slipushenko in Data Engineers

Gennady Timofeev

А у вас что-нибудь в проде со спарком на кубах крутится? Как мэнеджите лайфсайкл?

Сквозь боль и страдания 😁

09:58пожаловаться #18

Stanislav in Data Engineers

не знал, что разделение зашло настолько далеко