АС
Как можно такой кейс реализовать используя pyspark.sql.functions ??
Результатом должен быть df + новый столблец с результатом
Результатом должен быть df + новый столблец с результатом
Size: a a a
2020 April 03
ME
так запусти .show(), там небось все прочиталось криво
оказалось, там был тупо пустой CSV файл. На 2.2 это отлично работало 😂
АЖ
оказалось, там был тупо пустой CSV файл. На 2.2 это отлично работало 😂
ну так они ж и пишут, что с 2.3 такую фигню низзя
там походу был пустой датафрейм одной колонкой в виде корраптед дата
там походу был пустой датафрейм одной колонкой в виде корраптед дата
ME
Видимо да( Сейчас разбираемся, накой там вообще эти пустые файлы)
2020 April 04
Ю
Хочу показать себя обнажённой, люблю себя ласкать, кто желает поглядеть не дорого?)😋😋😋
С
GP
С
Такую малину испортил, я её почти склеил)
GP
В следующий раз могу в личку скинуть контакты
ЕГ
Сюткин
Такую малину испортил, я её почти склеил)
Она спарк не знает😆
GP
Евгений Глотов
Она спарк не знает😆
мой спарк больше
ЕГ
С
2020 April 05
АС
всем привет, каким должен быть конечный результат в ETL ?
1) Взять ненормализованные данные
2) Нормализовать, отфильтровать
3) Построить на основе этих данных N -кол-во отчетов
4) а потом что? Их нужно куда-то залить? или сформировать файл? (На моем примере конечные данные остаются в датафрейме, как оттуда их вытащить и в какой вид их лучше привести ?
1) Взять ненормализованные данные
2) Нормализовать, отфильтровать
3) Построить на основе этих данных N -кол-во отчетов
4) а потом что? Их нужно куда-то залить? или сформировать файл? (На моем примере конечные данные остаются в датафрейме, как оттуда их вытащить и в какой вид их лучше привести ?
ME
У нас на выходе csv для tableau 🌚
ME
Или паркет для афины
A
Можно датафреймы в виде кубиков обратно залить в реляционки, можно в паркет и хадуп/s3, можно екселек нагенерить 🙂
A
возможно у вас в etl лишь подготовка и базовая очистка данных, которые потом BI использует