AZ
ну собственно то же самое, но на чистом MIT KDC работать - такое себе удовольствие, честно говоря...
смотря какие задачи, если это недолго живущие кластера какого-нибудь Cloudbreak - вполне нормально, MIT KDC полегче, скриптовать проще
Size: a a a
2019 September 18
AZ
в EMR вон все пользуются MIT KDC, без каких-то особенных проблем
ДД
надо настроить cross-realm trust между вашим MS AD и MIT KDC релмами, и тогда имея тикет от AD у вас должно работать SPNEGO на UI
доверие настроил, в ie все настроил и все-равно получаю ошибку
AZ
а не Win10 случаем? там есть злостный компонент который ломает GSSAPI
ДД
на семерке и на сервер 2012 тоже
ДД
на 10 не пробовал
AZ
spnego дебажить это боль конечно, если у вас нет опытного бойца под рукой / на поддержке - начните с изучения логов, включите дебаг в хадуп оптс -Dsun.security.spnego.debug=true
AZ
-Dsun.security.krb5.debug=true это просто на уровне крб дебаг, для других апишек
AZ
и дебажить спинегу надо когда все остальное уже работает: на ноды вы можете ходить по GSSAPI/SSH, сабмит джобов работает
AZ
полезная выжимка тут https://risdenk.github.io/2018/03/14/kerberos-debugging.html
ДД
Спасибо
K
Ребят повторю вопрос, если tez мержит файлы после MR фазы , то момент когда происходит мердж очередь почему-то выстраивается на default , а не та которая была , сталкивался кто с такой проблемой? я что-то настройку не подобрал
S
Ребят повторю вопрос, если tez мержит файлы после MR фазы , то момент когда происходит мердж очередь почему-то выстраивается на default , а не та которая была , сталкивался кто с такой проблемой? я что-то настройку не подобрал
если пороешь сеть, то ты не ты первый столкнулся
варианты:
set tez.queue.name=q;
select count(*) from t0;
set tez.queue.name=q;
select count(*) from t1;
варианты:
set tez.queue.name=q;
select count(*) from t0;
set tez.queue.name=q;
select count(*) from t1;
S
пивотал вообще грит: Do not use the tez.queue.name configuration parameter because it sets all Tez jobs to run on one particular queue.
N
Кто-нибудь понимает, как заставить psql не посылать commit после выполнения всех —command и оставлять транзакцию окрытой до явного commit?
N
Чтобы вот это psql -с ‘BEGIN; select * from t for update’ оставляло блокировку на строках до следующего psql -с ‘commit’
K
если пороешь сеть, то ты не ты первый столкнулся
варианты:
set tez.queue.name=q;
select count(*) from t0;
set tez.queue.name=q;
select count(*) from t1;
варианты:
set tez.queue.name=q;
select count(*) from t0;
set tez.queue.name=q;
select count(*) from t1;
SET tez.queue.name=prod;
SET hive.execution.engine=tez ;
SET hive.merge.tezfiles=true ;
SET hive.merge.tezfiles=true ;
SET hive.merge.orcfile.stripe.level=true ;
SET hive.exec.dynamic.partition=true ;
SET hive.exec.dynamic.partition.mode=nonstrict ;
SET hive.merge.size.per.task=200000000 ;
SET hive.merge.smallfiles.avgsize=200000000 ;
INSERT OVERWRITE TABLE from select * from table
селект работает в прод очереди, мердж в дефаулт очереди
ПФ
Кто-нибудь понимает, как заставить psql не посылать commit после выполнения всех —command и оставлять транзакцию окрытой до явного commit?
там JDBC Или что? на jdbc надо говорить setAutoCOmmit(false)
N
Нет, bash + psql