Size: a a a

2020 November 18

ME

Max Efremov in Data Engineers
Дмитрий
dynamic allocation = off?
spark.dynamicAllocation.enabled  true
источник

ME

Max Efremov in Data Engineers
Mikhail Epikhin
покажите выхлоп
yarn application -list -appStates ALL
сейчас там всё хорошо, можно попробовать поймать тот момент, когда оно виснет так
источник

ME

Max Efremov in Data Engineers
Все таски в полночь запускаются, попробую руками всё сразу стартануть
источник

ME

Max Efremov in Data Engineers
Вот эта штука час висела с недостатком ресурсов и была кильнула ливи в финале
источник
2020 November 19

ДЗ

Денис Загитов... in Data Engineers
Ребят, подскажите, что можно изучить на русском языке по теме проектирования DWH? Не первый год этим занимаюсь, хочу структурировать знания и узнать о современных подходах, лучших практиках и стандартах
источник

PA

Panchenko Andrey in Data Engineers
Денис Загитов
Ребят, подскажите, что можно изучить на русском языке по теме проектирования DWH? Не первый год этим занимаюсь, хочу структурировать знания и узнать о современных подходах, лучших практиках и стандартах
Datalearn
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Это там, где все в разнобой и структурировать устанешь?
источник

PA

Panchenko Andrey in Data Engineers
Vladislav 👻 Shishkov
Это там, где все в разнобой и структурировать устанешь?
Концептуально там вполне структуриррванно
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Panchenko Andrey
Концептуально там вполне структуриррванно
Последний урок это разница между ETL и ELT, но при этом уже было довольно много уроков про все что можно, начиная про облака и заканчивая bi инструментами. Если для вас это "концептуально структурировано" - то я могу только вам посочувствовать
источник

PA

Panchenko Andrey in Data Engineers
Спасибо за сочувствие:)
Я же вас не просил о оценке того что я смотрю и что на мой взгляд есть полезным/не полезным. И познаниями я с вами меряться не собираюсь.
источник

ДЗ

Денис Загитов... in Data Engineers
Записался на курс, спасибо. А что является классикой в этой теме?
источник

PA

Panchenko Andrey in Data Engineers
Я ничего говорить не буду, пускай более опытные коллеги окажут милость и сострадание
источник

PA

Panchenko Andrey in Data Engineers
Но вообще совет, надо в английский . Можете на датакэмпе пройти целый трек по DE. Но там в основном пайтон. Есть спарк, есть sql, scala пара курсов. Ну и так далее.
источник

AN

Andrew Nasonov in Data Engineers
Про обучение dwh: господа дата инженеры, есть проходившие этот курс? Насколько того стоит? https://www.coursera.org/specializations/data-warehousing
источник

PA

Panchenko Andrey in Data Engineers
Спасибо, погляжу
источник

OP

O. Petr in Data Engineers
проходил от них же Data Warehouse Concepts, Design, and Data Integration, посоветовать не могу)
источник

AN

Andrew Nasonov in Data Engineers
O. Petr
проходил от них же Data Warehouse Concepts, Design, and Data Integration, посоветовать не могу)
А почему?)
источник

VP

Vitaly Pismarev in Data Engineers
Andrew Nasonov
А почему?)
Читайте классику (Инмон, Кимбалл,Дэн Линстедт (Data Vault))

На хабре был краткий обзор подходов к проектированию + можно посмотреть видео с конференций. Например, по DV были хорошие доклады от Avito и X5.
источник

v

voenkom in Data Engineers
Привет. Какие посоветуете книги по реляционной алгебре?
источник

OP

O. Petr in Data Engineers
Andrew Nasonov
А почему?)
устаревший и только теория, в основном про mdx в кубах, но мужик приятный и там сам же книжку инмона рекомендует.
источник