YI
Но я свой курс на ютубчик не выкладывал. Выложу однажды
Size: a a a
2021 September 07
.
Вопрос больше к практике
.
Миллион теории
.
А приложиться как не сразу понятно
ЕГ
Pip install pyspark
YI
YI
Сразу
.
Ну, справедливо, конечно
ЕГ
Качаешь с кегла какие-нибудь данные для иксджибуста и начинаешь фичи придумывать, чтоб там трёхэтажный запрос был на спарке
YI
Для начала неплохо бы научиться работать с памятью. Питон часто старается съесть весь дф за раз, от этого джобы падают
ЕГ
Поэтому не надо пользоваться пандасом, пока это не требуется)
YI
У меня задачка есть: нужно отбирать файлы qvd, и разбирать их в CSV. Библиотека для этого есть, и работает сверху пандаса. К сожалению это не всегда реализуемо быстро)
2021 September 08
ЕГ
Единственное, я пару видосов записывал на некотором корп обучении, потом глянул - чёт такой душнила, вряд ли кто-то будет смотреть😆
YI
А что за тема? Спарк контекст?
ЕГ
Ну я на тему спарк вс хайв пытался записать, но материал был у меня люто сырой, поэтому фуфло получилось в целом
YI
А зачем хайв против спарка? Ты про SQL контекст? Интересно прям. А запись есть? Я бы и сам посмотрел
YI
Я серьезно
ПФ
Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/
ЕГ
Про использование хайв на тезе в 2к20 вместо спарк скл)
ЕГ
С потерей спарк бакетов, например