Size: a a a

2020 March 28

YI

Yukari I in Data Engineers
Kimball, data vault 2, но только разделы
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir Bystrov
Есть вопрос, посоветуйте что почитать по темам: data lineage и data governance
ODPi Egeria
источник

VB

Vladimir Bystrov in Data Engineers
ок, спасибо разобраться еще что эти базворды значат :)
источник

S

Stanislav in Data Engineers
Интересно. Вот вроде есть Амазон, в котором никто не запаривается на такие вещи (по словам того же Аношина), а это одна из самых крупных и успешных компаний.
Так не карго-культ ли это все и выдумка консалтеров.
Про говернанс все говорят, все хотят, но есть у единиц. А профицит у долей единиц?

Особенно если мы касаемся бигдатки с количеством источников >10-20, а не маленьких двх на основе биллингов и тому подобного
источник

A

Alex in Data Engineers
возможно потому что производить лопаты для копки золота и пользоваться лопатами это разные бизнесы ;)
источник

S

Stanislav in Data Engineers
Ага, правда где-то здесь :)
источник

СХ

Старый Хрыч in Data Engineers
Stanislav
Интересно. Вот вроде есть Амазон, в котором никто не запаривается на такие вещи (по словам того же Аношина), а это одна из самых крупных и успешных компаний.
Так не карго-культ ли это все и выдумка консалтеров.
Про говернанс все говорят, все хотят, но есть у единиц. А профицит у долей единиц?

Особенно если мы касаемся бигдатки с количеством источников >10-20, а не маленьких двх на основе биллингов и тому подобного
амазон как и кубер, способ для определённых людей повышать себе премии, и снимать ответственность
источник

СХ

Старый Хрыч in Data Engineers
а всё остальное вторично
источник

S

Stanislav in Data Engineers
Амазон - компания, а не хостинг
источник

AZ

Anton Zadorozhniy in Data Engineers
Stanislav
Интересно. Вот вроде есть Амазон, в котором никто не запаривается на такие вещи (по словам того же Аношина), а это одна из самых крупных и успешных компаний.
Так не карго-культ ли это все и выдумка консалтеров.
Про говернанс все говорят, все хотят, но есть у единиц. А профицит у долей единиц?

Особенно если мы касаемся бигдатки с количеством источников >10-20, а не маленьких двх на основе биллингов и тому подобного
гавернанс как внешний инструмент нужен когда инженерной культуры нехватает, а так это обычная практика, наряду с архитектурными решениями, работой с нефункциональными требованиями, инфосеком и остальным
источник
2020 March 29

D

Dasha in Data Engineers
Добрый день!
Можно ли как-то получить значения переменных из properties (`spark.app.name`, например) внутри ноутбука %spark?
источник

D

Dasha in Data Engineers
И ещё - какой простой способ визуализации boxplot’а есть в Zeppelin?
источник

GP

Grigory Pomadchin in Data Engineers
Dasha
И ещё - какой простой способ визуализации boxplot’а есть в Zeppelin?
есть такое https://github.com/vegas-viz/Vegas только давно не пользовался и не знаю поддерживается или нет
источник

GP

Grigory Pomadchin in Data Engineers
можно сохранить вьюху ещё и использовать sql интерпретатор для визуализации; может сработать но я не пробовал
источник

D

Dasha in Data Engineers
Dasha
Добрый день!
Можно ли как-то получить значения переменных из properties (`spark.app.name`, например) внутри ноутбука %spark?
А вот на этот вопрос ответ не подскажете?
источник

GP

Grigory Pomadchin in Data Engineers
Dasha
Добрый день!
Можно ли как-то получить значения переменных из properties (`spark.app.name`, например) внутри ноутбука %spark?
sparkContext.getConf.get(“spark.app.name”)
источник

D

Dasha in Data Engineers
Спасибо большое! Искала как раз в сторону sparkContext 🙂
источник

GP

Grigory Pomadchin in Data Engineers
:+1:
источник

D

Dasha in Data Engineers
Grigory Pomadchin
sparkContext.getConf.get(“spark.app.name”)
Пишет: error: not found: value sparkContext
источник

GP

Grigory Pomadchin in Data Engineers
Dasha
Пишет: error: not found: value sparkContext
sc
источник