Size: a a a

2021 February 02

AE

Alexey Evdokimov in Data Engineers
занятно, с открытием исходников обе их проблемы теперь не проблемы. патчить критикалы можно самим, твикать тоже можно самим
источник

AE

Alexey Evdokimov in Data Engineers
короче, через годик надо будет посмотреть, взлетит или нет
источник

DN

Dmitriy Novikov in Data Engineers
Nikita Blagodarnyy
Рубрика «хозяйке на заметку». В КХ, оказывается, есть функции высшего порядка и лямбды.
ну так хер хнает когда добавили
источник

DN

Dmitriy Novikov in Data Engineers
я через них таккео вытворял ... ♨️
источник

OA

Oleg Agapov in Data Engineers
А кто-нибудь подключался к Хайву из дистрибутива HDP3.15 который за керберосом? Как?

Я пробовал через IDE - нифига, каких-то настроек кербероса не хватает.
Установил локальный hadoop + hive чтобы через beeline подключаться - опять беда с керберос.
Тикет кербероса есть, другие сервисы доступны (например Livy)

PS: У меня задача подключаться извне кластера
источник

GS

Grigory Skvortsov in Data Engineers
Всем привет! Есть у кого-нибудь опыт сборки fuse_dfs?
источник

AS

Andrey Smirnov in Data Engineers
Alexey Evdokimov
короче, через годик надо будет посмотреть, взлетит или нет
непонятно чем он лучше того же rocksdb?
источник

N

Nikita Blagodarnyy in Data Engineers
Oleg Agapov
А кто-нибудь подключался к Хайву из дистрибутива HDP3.15 который за керберосом? Как?

Я пробовал через IDE - нифига, каких-то настроек кербероса не хватает.
Установил локальный hadoop + hive чтобы через beeline подключаться - опять беда с керберос.
Тикет кербероса есть, другие сервисы доступны (например Livy)

PS: У меня задача подключаться извне кластера
Надо задавать свойства jvm
источник

N

Nikita Blagodarnyy in Data Engineers
-Dkrb5
источник

N

Nikita Blagodarnyy in Data Engineers
Ну и klist должен тикет показывать
источник

ИД

Иваненко Дмитрий... in Data Engineers
Oleg Agapov
А кто-нибудь подключался к Хайву из дистрибутива HDP3.15 который за керберосом? Как?

Я пробовал через IDE - нифига, каких-то настроек кербероса не хватает.
Установил локальный hadoop + hive чтобы через beeline подключаться - опять беда с керберос.
Тикет кербероса есть, другие сервисы доступны (например Livy)

PS: У меня задача подключаться извне кластера
Тикет получи
источник

OA

Oleg Agapov in Data Engineers
Nikita Blagodarnyy
Ну и klist должен тикет показывать
тикет есть. а как свойство задавать? он похоже не может подгрузить krb5.conf
источник

N

Nikita Blagodarnyy in Data Engineers
я ж написал как
источник

N

Nikita Blagodarnyy in Data Engineers
-Dkrb5.conf=/my/conf
источник

N

Nikita Blagodarnyy in Data Engineers
сорян, вру
источник

OA

Oleg Agapov in Data Engineers
понял. я куда это писать? сорри если туплю. я пробую через локальный beeline, ему походу надо как-то жту проперть подсовывать
источник

N

Nikita Blagodarnyy in Data Engineers
-Dsun.security.krb5.conf
источник

OA

Oleg Agapov in Data Engineers
еще вот так нашел
-Djava.security.krb5.conf=/path/to/custom/krb5.conf
источник

OA

Oleg Agapov in Data Engineers
но не понятно как передавать в beeline
источник

N

Nikita Blagodarnyy in Data Engineers
источник