Size: a a a

2019 July 27

AZ

Anton Zadorozhniy in Data Engineers
Дмитрий Демитов
Люди добрые! Как запилить авторизацию в AD для Apache Airflow web UI?
Если вы про аутентификацию то для веб интерфейса, то нужно использовать ldap, его поддерживает AD
источник

ДД

Дмитрий Демитов in Data Engineers
Anton Zadorozhniy
Если вы про аутентификацию то для веб интерфейса, то нужно использовать ldap, его поддерживает AD
Про неё, думал может я документацию не очень внимательно изучил и есть способ авторизации через билеты Kerberos
источник

AZ

Anton Zadorozhniy in Data Engineers
Дмитрий Демитов
Про неё, думал может я документацию не очень внимательно изучил и есть способ авторизации через билеты Kerberos
В принципе там же просто Flask-Login, наверняка где-то есть плагин для SPNEGO
источник

ДД

Дмитрий Демитов in Data Engineers
Anton Zadorozhniy
В принципе там же просто Flask-Login, наверняка где-то есть плагин для SPNEGO
Посмотрю, спасибо
источник
2019 July 28

SB

Sergey Bilenko in Data Engineers
Комрады, подскажите, пожалуйста, насколько часто в Data Engineering приходится иметь дело с Bazel? Я смотрю, многие ванильные пакеты (в частности Keras) собираются с помощью Bazel. Насколько нужно его знать досконально?
источник
2019 July 29

MK

Max Kovgan in Data Engineers
Sergey Bilenko
Комрады, подскажите, пожалуйста, насколько часто в Data Engineering приходится иметь дело с Bazel? Я смотрю, многие ванильные пакеты (в частности Keras) собираются с помощью Bazel. Насколько нужно его знать досконально?
если у вас в команде пользуются бэйзелом, то учи.
а так, запустить сборку раз в пятилетку можно и по мануалам.
источник

MK

Max Kovgan in Data Engineers
его на самом деле не так часто используют (а жаль)
источник

SB

Sergey Bilenko in Data Engineers
Max Kovgan
если у вас в команде пользуются бэйзелом, то учи.
а так, запустить сборку раз в пятилетку можно и по мануалам.
А не попадались какие-нибудь толковые руководства по Базелю? Чтобы не просто описание синтаксиса давали, а ещё и общую философию применения и основные приемы использования
источник

MK

Max Kovgan in Data Engineers
офф сайт
источник

K

KrivdaTheTriewe in Data Engineers
Внимание!

Этой осенью в Москве нас ждёт сразу две крупных встречи, посвящённых Scala

🔸 28 сентября Митап Scala Russia при поддержке tinkoff.ru

🔸 26 ноября  ScalaConf https://scalaconf.ru/:

————————————————
28 сентября:

Митап Scala Russia при поддержке tinkoff.ru

Продолжается прием заявок на доклады
Для удобства подачи сделали формы :

RUS https://forms.gle/bAYzgXJ3JKH6q9Jx6
ENG https://forms.gle/KX1gunrRDeo4yEd37
Если хочется рассказать что-то небольшое, то можно воспользоваться формой для Lightning talks :
https://forms.gle/vS6h6PuVk4gFRB7C6

Специальный гость — John De Goes.  Джон выступит с докладом и проведет воркшоп.

Нас ждет:

🔹 2 потока,
🔹 7 докладов,
🔹 2 воркшопа.

Комфортная атмосфера нетворкинга. Еда. Бомбическое афтерпати

Участие — бесплатное.

Регистрация откроется чуть позже.
————————————————


Конференция ScalaConf

Подавайте доклады или берите билеты!

Дедлайн по подаче: 26 сентября
Билеты: цены зависят от даты покупки - чекайте график повышения на сайте.

Вся инфа и кнопки подачи на сайте: https://scalaconf.ru/2019

Группа для всех интересующихся https://t.me/ScalaConfTalks
источник

RI

Rustam Iksanov in Data Engineers
Инженеры! Помогите. Настраиваю в Фениксе таблицы с Hbase. B и проблема кастинга типов. Все кроме string не кастятся нормально.
источник

А

Алексей in Data Engineers
Подскажите, а distributed или clustered вообще ускоряет join  двух одинаково распределенных таблиц в hive? Вроде должен уменьшится shuffling, но по замерам времени не чувствую разницы
источник

MK

Max Kovgan in Data Engineers
не все ускоряется и не всегда.
источник

MK

Max Kovgan in Data Engineers
можно настройками hdfs все угробить.
источник

MK

Max Kovgan in Data Engineers
можно так данные уложить, что  тоже никакой пользы не будет
источник

А

Алексей in Data Engineers
Всмысле если перекос в данных и все ушло на 1 ноду?
источник

MK

Max Kovgan in Data Engineers
или намного нод по 1 разу.
источник

MK

Max Kovgan in Data Engineers
могу еще много страшилок придумать.
источник

DY

Dan Y in Data Engineers
где тут канал с вакансиями был?
источник

DY

Dan Y in Data Engineers
@erzentd ты вроде в курсе всех этих каналов
источник