A
@barloc там 1 или 2 фикса только апи ломало, но оно есть
у хортона ещё есть рукожопный комит
https://github.com/hortonworks/hive-release/commit/99510c9c098dbba3dffd76d39f96175899c720b5#diff-8a75991cc62622fe914c6e4ec198e68fR1265-R1275
Size: a a a
2020 March 04
A
в итоге мы начинали с hdp но сейчас уже все компоненты на apache переведены
S
все к тому идет
AZ
у нас он тоже чисто как метастор, но поддержку протокола и либ нужно же сделать =)
так hive3 как раз можно деплоить без самого хайва и хадупа, малюсенький пакетик, заполнили metastore-site.xml и вперед
A
а подключаться к нему спарк телепатией будет?
нет, там же нужно хайв либы ему
а чтобы с ними правильно работать нужно знать какие параметры методам скармливать
и вот тут появляется весь этот shim
нет, там же нужно хайв либы ему
а чтобы с ними правильно работать нужно знать какие параметры методам скармливать
и вот тут появляется весь этот shim
AZ
в спарк мастере, как вы написали, мы собираем spark3 бранч и его используем
AZ
правда это пока в секретных лабораториях
S
в итоге мы начинали с hdp но сейчас уже все компоненты на apache переведены
так а зачем вы тянете все еще 3 хайв, если на апаче?
ради каких фич?
ради каких фич?
A
в спарк мастере, как вы написали, мы собираем spark3 бранч и его используем
ну а нам же прод миграцию уже надо делать =) и началась она больше полугода назад, когда даже превью у 3го не было, а работать нужно было
A
@barloc решили что уходим на апач, девопсы посмотрели что “о, текущий апач совпадает с hdp последним и там норм все пакеты готовы, давайте раскатаем его”
через какое-то время обнаружилось что нам нужно и hadoop обновить
и hive некоторые патчи хортоновские отктывать
в итоге потиху всё перевели на более свежие апач компоненты
через какое-то время обнаружилось что нам нужно и hadoop обновить
и hive некоторые патчи хортоновские отктывать
в итоге потиху всё перевели на более свежие апач компоненты
AZ
а, ну в продакшене видимо да, надо кушать Hive2
AZ
мы просто катаем cutting edge stack, все на JDK11, экспериментальные фичи по статистике, новый мониторинг и аккаунтинг тулинг
AZ
но это все лабораторно
A
вот хортоны и клоудеры есть свои патчи на спарк, поэтому они и поставляли 3й
мы частично от них взяли, потом когда появилось и в мастере более причёсано, то забрали из мастера патчи себе
у нас просто есть несколько своих специфичных патчей для агоды + несколько классов чтобы высунуть интернал api для наших нужд
так что спарк пересобирать всё равно нужно
а где один патч, там и ещё пару прилетит
мы частично от них взяли, потом когда появилось и в мастере более причёсано, то забрали из мастера патчи себе
у нас просто есть несколько своих специфичных патчей для агоды + несколько классов чтобы высунуть интернал api для наших нужд
так что спарк пересобирать всё равно нужно
а где один патч, там и ещё пару прилетит
A
11 пока нету в хадупе у нас, слишком экспериментально, они только недавно закончили очередной этап стабилизации с 11 java
ждёмс ….
ждёмс ….
AZ
там неплохой тулинг в спарке кстати, действительно держать свой форк не сложно
AZ
11 пока нету в хадупе у нас, слишком экспериментально, они только недавно закончили очередной этап стабилизации с 11 java
ждёмс ….
ждёмс ….
у нас в CES вообще нет хадупа, это решение для миграции легаси спарк ворклоада на облачный сервис без переписывания кода, нужно чтобы все основные интерфейсы были, но при этом минимальное количество персистент систем и максимальная производительность (это наша маржа)
GT
у нас в CES вообще нет хадупа, это решение для миграции легаси спарк ворклоада на облачный сервис без переписывания кода, нужно чтобы все основные интерфейсы были, но при этом минимальное количество персистент систем и максимальная производительность (это наша маржа)
Ещё скажите, что у вас там дизагрегейтид сторедж прикручен
AZ
Ещё скажите, что у вас там дизагрегейтид сторедж прикручен
Какой сторадж? У нас просто native object store который доступен на облаке которое хочет клиент