Size: a a a

2020 April 03

АС

Артур Семенов in Data Engineers
Как можно такой кейс реализовать используя pyspark.sql.functions  ??
Результатом должен быть df + новый столблец  с результатом
источник

ME

Max Efremov in Data Engineers
Андрей Жуков
так запусти .show(), там небось все прочиталось криво
оказалось, там был тупо пустой CSV файл. На 2.2 это отлично работало 😂
источник

АЖ

Андрей Жуков in Data Engineers
Max Efremov
оказалось, там был тупо пустой CSV файл. На 2.2 это отлично работало 😂
ну так они ж и пишут, что с 2.3 такую фигню низзя

там походу был пустой датафрейм одной колонкой в виде корраптед дата
источник

ME

Max Efremov in Data Engineers
Видимо да( Сейчас разбираемся, накой там вообще эти пустые файлы)
источник
2020 April 04

Ю

Юлиана in Data Engineers
Хочу показать себя обнажённой, люблю себя ласкать, кто желает поглядеть не дорого?)😋😋😋
источник

С

Сюткин in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
источник

С

Сюткин in Data Engineers
Такую малину испортил, я её почти склеил)
источник

GP

Grigory Pomadchin in Data Engineers
В следующий раз могу в личку скинуть контакты
источник

GP

Grigory Pomadchin in Data Engineers
источник

ЕГ

Евгений Глотов in Data Engineers
Сюткин
Такую малину испортил, я её почти склеил)
Она спарк не знает😆
источник

GP

Grigory Pomadchin in Data Engineers
Евгений Глотов
Она спарк не знает😆
мой спарк больше
источник

ЕГ

Евгений Глотов in Data Engineers
источник

С

Сюткин in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
источник
2020 April 05

АС

Артур Семенов in Data Engineers
всем привет, каким должен быть конечный результат в ETL ?
1) Взять ненормализованные данные
2) Нормализовать, отфильтровать
3) Построить на основе этих данных N -кол-во отчетов
4) а потом что? Их нужно куда-то залить? или сформировать файл? (На моем примере конечные данные остаются в датафрейме, как оттуда их вытащить и в какой вид их лучше привести ?
источник

ME

Max Efremov in Data Engineers
У нас на выходе csv для tableau 🌚
источник

ME

Max Efremov in Data Engineers
Или паркет для афины
источник

A

Alex in Data Engineers
Можно датафреймы в виде кубиков обратно залить в реляционки, можно в паркет и хадуп/s3, можно екселек нагенерить 🙂
источник

A

Alex in Data Engineers
возможно у вас в etl лишь подготовка и базовая очистка данных, которые потом BI использует
источник