Size: a a a

2020 January 16

EV

Eduard Vlasov in Data Engineers
Vitali Z
приветствую, может кто занимался прикручиванием authentication к prestodb jdbc в emr?  Интересует простой password auth
LDAP прикрутил
источник

VZ

Vitali Z in Data Engineers
ldap понятно, будет следующий шаг если двинем дяльше, в prestosql вот есть File-Based auth а в prestodb нема.
источник

VZ

Vitali Z in Data Engineers
мож там как то на уровне aws  можно че впереди поставить?
источник

EV

Eduard Vlasov in Data Engineers
Vitali Z
мож там как то на уровне aws  можно че впереди поставить?
ну можно что-то на nginx нагородить с basic auth, но я не делал
источник

EV

Eduard Vlasov in Data Engineers
там все взаимодейтсвие через 1  порт и http идет
источник

VZ

Vitali Z in Data Engineers
угу
источник

VZ

Vitali Z in Data Engineers
а вот Apache Ranger вспомнил - тот еще комбайн, он вроде ж тоже должен уметь такое
источник

EV

Eduard Vlasov in Data Engineers
не уверен что там есть готовое, но можно для него кастомный аутентификатор намутить
источник

EV

Eduard Vlasov in Data Engineers
а следовательно его надо будет разбрасывать по кластеру
источник

EV

Eduard Vlasov in Data Engineers
короче я решил сделать LDAPS на коленке и не париться
источник

EV

Eduard Vlasov in Data Engineers
но любая аутентификация потребует настроить HTTPS в престо, там тоже пляски
источник

VZ

Vitali Z in Data Engineers
спасибо
источник

T

T in Data Engineers
Vitali Z
ldap понятно, будет следующий шаг если двинем дяльше, в prestosql вот есть File-Based auth а в prestodb нема.
Поставили суперсет cперед и и к нему ldap
источник

GP

Grigory Pomadchin in Data Engineers
Dmitry Zuev
правда в sbt не прописывал ничего, но так вроде не требе
А ты типа из консоли ранишь?
источник

DZ

Dmitry Zuev in Data Engineers
Spark operator
источник
2020 January 17

C

Combot in Data Engineers
Добро пожаловать в самое дружелюбное комьюнити.
источник

SS

Sergey Sheremeta in Data Engineers
дяденьки, здравствуйте!
подскажите, чем можно сгенерировать НЕРАВНОМЕРНУЮ нагрузку на Кафку?
в поставке Кафки есть скрипт kafka-producer-perf-test.sh - но он долбит равномерно и рандомными патронами
источник

TT

Tsh Tsh in Data Engineers
Возьми данные из какого нибудь скошенного датасета и лей бесконечно
источник

TT

Tsh Tsh in Data Engineers
В цикле
Между итерациями рандомные промежутки времени
источник

SS

Sergey Sheremeta in Data Engineers
а мне нужно отстрелять заранее подготовленный патронташ с некой заданной частотной гистограммой по минутам
источник