Size: a a a

2020 March 04

A

Alex in Data Engineers
в перспективе уйдём, но в данный момент имеется большая миграция, ещё и импалу заменять будет уже слишком =(
источник

A

Alex in Data Engineers
переезд между датацентрами
переезд с древнего хадупа 2.6 на 3.2
переезд с unsecured на kerberos

и если ещё и импалу перевозить то мы это не закончим никогда =)
источник

АЖ

Андрей Жуков in Data Engineers
Alex
переезд между датацентрами
переезд с древнего хадупа 2.6 на 3.2
переезд с unsecured на kerberos

и если ещё и импалу перевозить то мы это не закончим никогда =)
жесть
источник

A

Alex in Data Engineers
а, ну там ещё и переезд с хайва 1.2.0 на 3.1.1
вот с хайвом тоже местами жесть
бекпортили в наш спарк из мастера поддержку работы с ним
источник

A

Alex in Data Engineers
так как в 2.4 ветке нету работы с хайвом 3
источник

АЖ

Андрей Жуков in Data Engineers
ну, чую, я лет через 5 такие же кулстори буду травить :)
источник

N

Nikolay in Data Engineers
Anton Zadorozhniy
мы уже почти открутили импалу у всех клиентов, а вы прикручивать что-то к ней хотите 😊
А почему импала не зашла ?
источник

АЖ

Андрей Жуков in Data Engineers
все когда-нибудь станет легаси :(
источник

S

Stanislav in Data Engineers
Alex
так как в 2.4 ветке нету работы с хайвом 3
можно поподробнее?
эйсид или вообще работа с метастором?
источник

АЖ

Андрей Жуков in Data Engineers
Alex
так как в 2.4 ветке нету работы с хайвом 3
ммм?
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
А почему импала не зашла ?
как чистый sql движок presto намного гибче, а как замена MPP СУБД настоящая MPP СУБД намного лучше
источник

A

Alex in Data Engineers
в коде спарка shim на версию хайва 3+ имеется только в мастер ветке

это мастер
https://github.com/apache/spark/blob/master/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1350

это 2.4 бранч
https://github.com/apache/spark/blob/branch-2.4/sql/hive/src/main/scala/org/apache/spark/sql/hive/client/HiveShim.scala#L1183

он просто не знает про третий хайв
источник

A

Alex in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
так как в 2.4 ветке нету работы с хайвом 3
да, это spark3 все, мы тут катаем превьюхи со standalone hive metastore, вообще без хадупа
источник

A

Alex in Data Engineers
список версий с которыми умеет 2.4 работать
источник

A

Alex in Data Engineers
хортоны и склоудера патчили свои сборки чтобы с хайвом 3м работать
источник

A

Alex in Data Engineers
причем у хортона и хайв запатченный, апи меняли в либах

поэтому спарк 3й апачевский с ним не работает
или спарк хортоновский с апачевским не работает

тут уж как посмотреть =)
источник

S

Serg Slipushenko in Data Engineers
Gennady Timofeev
А у вас что-нибудь в проде со спарком на кубах крутится? Как мэнеджите лайфсайкл?
Сквозь боль и страдания 😁
источник

S

Stanislav in Data Engineers
Alex
причем у хортона и хайв запатченный, апи меняли в либах

поэтому спарк 3й апачевский с ним не работает
или спарк хортоновский с апачевским не работает

тут уж как посмотреть =)
не знал, что разделение зашло настолько далеко
источник

A

Alex in Data Engineers
Anton Zadorozhniy
да, это spark3 все, мы тут катаем превьюхи со standalone hive metastore, вообще без хадупа
у нас он тоже чисто как метастор, но поддержку протокола и либ нужно же сделать =)
источник