А
о, незнал
Size: a a a
2021 June 27
А
сегодня вот научился из Спарка читать и писать в MS SQL Server, правда хз где это на практике вобще применимо, но думаю пусть будет, авось пригодиться)
АЖ
Ну, с jdbc примерно везде
А
это да.
А
практических примеров конечно мало для обучения.
непонятно что делает на работе дата-инженер, парсит CSV и JSON файлы и за это деньги платят?
нехватает ресурсов где бы решались какие-то реальные кейсы из работы
непонятно что делает на работе дата-инженер, парсит CSV и JSON файлы и за это деньги платят?
нехватает ресурсов где бы решались какие-то реальные кейсы из работы
АЖ
Это и делает!
А
ну всё! Можно на джуна устраиваться))
R
Фронтендер перекладывает клики пользователей в JSON
Бекэндер перекладывает JSON в JSON
Дата инженер перекладывает JSON в Parquet
Все получают 300к/наносек, на этом секрете все айти и держится.
Бекэндер перекладывает JSON в JSON
Дата инженер перекладывает JSON в Parquet
Все получают 300к/наносек, на этом секрете все айти и держится.
ИК
Parquet, ORC, Avro тоже иногда надо прочитать или записать))
А
ну и наверное в джобу по расписанию поставить на каком-нибудь AirFlow?
NN
Вот ещё.
Пусть этим CDO занимается.
Пусть этим CDO занимается.
А
😄
ИК
Oozie или luigi как вариант. И чтобы эта джоба ставила на расписание пару других, зависимых джобов и не падала, если пропущен параметр со значением по умолчанию
AB
oozie где-то используется?
ИК
Да, это факт
2021 June 28
AB
ребяты, подскажите, а чем пользуетесь для витрин?
и какие у вас при этом хранилища
и какие у вас при этом хранилища
ЕГ
Для создания витрин, для промежуточных расчётов, которые занимают 146% времени расчёта витрин, для просмотра витрин с помощью BI?
ЕГ
Если коротко, то просто спарк)
ЕГ
Самый простой ответ на все случаи жизни
ЕГ
А если сложно, то в любой конторе своя схема и тулзы, чё там архитекторы нарисуют, то и будет