Size: a a a

2021 October 05

T

T in Data Engineers
Вот можешь такое запограть
https://t.me/datajobs/60577
источник

T

T in Data Engineers
Это пример реального тестого задания
источник

.

._. in Data Engineers
Спасибо! Пошел читать
источник

D

Dmitry in Data Engineers
да, scd2 строится на основе исторической delta таблицы и в ней, в отличие от исторической, обычно буквально пара интересующих пользователей полей с историей
источник

D

Dmitry in Data Engineers
а дельта табличка трекает абсолютно все изменения всех полей
источник

YI

Yaroslav S Ivanov in Data Engineers
Спасибо!
источник
2021 October 06

A

Albert in Data Engineers
Подскажите, пожалуйста, можно ли реализовать модель данных data vault в hadoop через spark или нужно другие инструменты для этого (например Greenplum)?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Можно
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Вопрос скорее "а нужно ли?"
источник

РП

Роман Пашкевич... in Data Engineers
Можно. Только насколько это целесообразно? Обычно, интструмент выбирают под цели. А не наоборот...
источник

РП

Роман Пашкевич... in Data Engineers
Как бы и гвозди можно забивать микроскопом...
источник

A

Albert in Data Engineers
А какой инструмент для этого лучше использовать?
источник

РП

Роман Пашкевич... in Data Engineers
За все не скажу. Но у нас используется greenplum
источник

NN

No Name in Data Engineers
Для начала лучше ещё раз себе вопрос задайте, какая именно у вас проблема, и почему ее нужно решать путем реализации data vault. После того, как уверенно себе ответите, что иначе никак, соберите/сформулируйте требования. Исходя из них напишите тестовые кейсы. И накидывайте дальше уже варианты, на чем это дело варить,  приоритезируйте и тестите. Если повезёт, то до дата волта на хадупе вы не доберетесь.
источник

ДК

Дмитро Козак... in Data Engineers
Привет, подскажите почему не может спарсить mapred-site.xml?  error parsing conf mapred-site.xml
источник

OI

Oleg Ilinsky in Data Engineers
Привет!
А кто-нибудь в писпарке сталкивался с такой ошибкой?
_pickle.PicklingError: Could not serialize object: ValueError: Cell is empty

Чёт не очень понятно, куда копать. Гуголь выдаёт что-то про UDF, у меня же конвертится из RDD в DF
источник

SS

Sergey Sheremeta in Data Engineers
коллеги, посоветуйте пожалуйста каналы, где сидят BI разработчики
источник

OI

Oleg Ilinsky in Data Engineers
источник

SS

Sergey Sheremeta in Data Engineers
не совсем BI, но благодарю!
источник

SS

Stanislav Shpilevoy in Data Engineers
Попробуйте cloudpickle библиотеку: https://github.com/cloudpipe/cloudpickle
источник