TT
Поэтому data factory вроде нет
Size: a a a
2020 March 27
T
Кстати а у кого-нибудь получалось пробросить коментарий из glue в таблицу чтобы он show create table отображался? а то мне пришлось костылить и закоментариями к колонке ходить через glue api
TT
а как наполняете эти метасторы? есть какое-то общее хранилище метаданных откуда потом наливаете?
Я в общем больше в дата сотонизм и аналитику ударился, осточертела низкоуровневая возня с переливанием и потерей данных
TT
Поэтому не скажу про glue
AZ
Tsh Tsh
Поэтому не скажу про glue
спасибо за ответы, полезно
V
Tsh Tsh
Стабильно раз в месяц - два месяца все нахрен валится , все становится недоступным
Наблюдаю у своих коллег примерно тот же процесс, и в целом те кто неистово топил за МС и переезд со своими данными в течении пары лет обратно приехали и крестятся не переставая
V
Есть, канеш, отдельные энтузиасты.. Но данных критичных там нет
2020 March 28
N
Кто знает, может есть хорошие курсы по DE (платные/бесплатные)?
Y
Хороших нет. Выброшенные деньги.
AN
Кто знает, может есть хорошие курсы по DE (платные/бесплатные)?
Есть курс на coursera от Яндекса.
AN
BigData for data engineers
DZ
На отвратительном английском местами
VB
та не норм заходит, рашн инглиш
R
Vladimir Bystrov
та не норм заходит, рашн инглиш
Нет, он там реально неистово плох, но объективно - курс немного устарел, зачем самостоятельно мапперы и редьюсеры писать в 2020
R
Tsh Tsh
Датабрикс дорогой и у них есть привычка ничего не доделывать, после них либо все выбрасывать и с нуля, либо 50 % переделки
А что имеется в виду под «не доделывать»? Они же просто платформу дают, а вы уже с ней играетесь как вам удобно
VB
Нет, он там реально неистово плох, но объективно - курс немного устарел, зачем самостоятельно мапперы и редьюсеры писать в 2020
Я так понимаю для глубинного понимания как оно работает, плюс там и спарк + спарк SQL освещается в последующих курсах из специализации (курм по стримингу почему то уже пропал)
AN
Нет, он там реально неистово плох, но объективно - курс немного устарел, зачем самостоятельно мапперы и редьюсеры писать в 2020
Там на Hadoop отведено 1-2 недели. А дальше spark sql , hive
VB
Есть вопрос, посоветуйте что почитать по темам: data lineage и data governance
SS
Vladimir Bystrov
Есть вопрос, посоветуйте что почитать по темам: data lineage и data governance
DAMA-DMBOK
YI
DAMA-DMBOK
+