С csv таких проблем не было

Ну создай пустую с такой же структурой, партиции и потом подсунь файлы, которые скопировал.

Как оказалось это location, спасибо.

Всем добрый вечер.
Подскажите пожалуйста какие-нибудь статьи\bestpractice\советы по архитектуре для scala spark проекта (Databricks в Azure).
В web всё понятно (MVC и тд) - есть от чего оттолкнуться. Кроме того фреймворки типа Spring предлагают определенную базовую структуру проекта.
Хотелось бы почитать\посмотреть как люди делают для ETL.
Используют ли что то похожее на dependency injection? Или создают объекты руками\через фабрики самописные?
Сколько слоёв используют обычно? (reader, transformation, writer и тд)
Используются ли конфиги или переменные среды?

внимательно слежу за активным обсуждением вопроса!
тоже очень интересно как правильно сделать Spark Scala ETL проект/репозиторий

в канале "Data Engineers" не спрашивали?

file -> new -> project -> BigData -> spark -> задать имя -> finish

Всё руками нужно писать
По идее, 3 стадии никуда не делись, поэтому всё чтение и запись можно вынести отдельно, трансформации отдельно
Конфиги - yes)

спасибо, дяденька!
а может у вас какой-нибудь темплейт проекта завалялся?

ага, в мавене. Архетип называется.

я вот где-то читал, что Databricks рекомендует разбивать все ETL пайплайны на 3 "металлических" типа: bronze, silver, gold.
только не очень понимаю зачем. когда можно все в одном репозитории хранить

Пока нет, продублирую чуть позже.

Кажется пора таки запилить ютуб канал с туториалами и поднимать бабла на рекламе ipo датабрикса😆

Это не типы etl, а слои данных, а-ля raw/dds/cdm/etc..

Если хватает фантазии и времени, можно и больше слоёв насоздавать. И каждый с сегментами))

А в данном случае, они предлагают такую модель DataLake, она может быть как избыточной, так и недостаточной

this

Ага, maven архетип, папка main и test. Огонь)

вот и я о чем! тоже не понимаю зачем создавать отдельные группы ETL-пайплайнов, отвечающих за стыки между слоями.
а лучше сделать один мега-ETL-пайплайн, который будет выгребать данные отовсюду и писать куда надо

GodETL получится. Напоминает известный антипаттерн

В смысле, в один даг все запихнуть, или что?