Size: a a a

2021 September 09

M

Mi in Data Engineers
Времена идут, но все остаётся прежним
источник

AE

Alexey Evdokimov in Data Engineers
пора капчу на вход ставить
источник

K

KrivdaTheTriewe in Data Engineers
я оплачу сча комбота
источник

K

KrivdaTheTriewe in Data Engineers
я забыл :/
источник

K

KrivdaTheTriewe in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Откройте патреон, мы скинемся на премиальные фичи
источник

РД

Роман Друзык... in Data Engineers
Всем привет!
Ребят, вопрос!
Пытаюсь запустить spark-submit, получаю:
user does not permission to submit application on queue default
Смотрю что в конфигах ярна, там
yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications=yarn
Я как понимаю, yarn это группа и мне надо как то добавить своего юзера в группу yarn, верно?
источник

РД

Роман Друзык... in Data Engineers
Кто-то сталкивался с такой ошибкой? По любому сталкивался)

Проблема вылезла после обновлении Линукс на нодах
источник

AA

Aleksey Aleksandrov in Data Engineers
Надо в ranger права на submit выдать в нужную очередь (default) или использовать очередь куда уже есть права сабмитить)
источник

РД

Роман Друзык... in Data Engineers
Вот интересно что когда --queue указываешь любую другую очередь, все равно используется default
источник

AA

Aleksey Aleksandrov in Data Engineers
А в yarn ui другие очереди вообще отображаются?
источник

РД

Роман Друзык... in Data Engineers
Да, три очереди всего)
источник
2021 September 10

e

er@essbase.ru in Data Engineers
народ , нужно согласовать деятельность 20 методологов ,  что бы они переиспользовали уже заведенные метрики (фичи) .
есть ли у кого опыт организации такой работы ?

пока ничего лучшего как облачного Excel придумать не могу
источник

AZ

Anton Zadorozhniy in Data Engineers
Целая индустрия есть, дата каталоги, фича сторы
источник

AZ

Anton Zadorozhniy in Data Engineers
Эксель не надо, уж лучше текстовые файлики в гите (чтобы можно было ревью прикрутить нормально)
источник

e

er@essbase.ru in Data Engineers
оно то есть  , но это все нужно "внедрять" (!  tm)

есть ли что нить облачное  ?  или с чем сами работали ?
источник

AZ

Anton Zadorozhniy in Data Engineers
так вы вроде задали вопрос с того что вам что-то нужно? если вам не нужно - не внедряйте

посоветовать что-то сложно, зависит от того какой у вас стек, инфра
источник

AZ

Anton Zadorozhniy in Data Engineers
если вы в самом начале пути то начать действительно можно с чего-то без автоматизации, вики например

в гите удобно уметь в машиночитаемом виде чтобы потом от этого автоматизацию сделать
источник

T

T in Data Engineers
Плюсую текстовый формат + гит
источник

АР

Андрей Романов... in Data Engineers
Confluence не рассматривали?
источник