Ребята, кто хорошо понимает внутренности Delta Format, ведь это утверждение из книги неправда же?

Rather than throw an error for User 2, Delta Lake prefers to handle this conflict optimistically. It checks to see whether any new commits have been made to the table, and updates the table silently to reflect those changes, then simply retries User 2’s commit on the newly updated table (without any data processing), successfully committing 000002.json.

Иначе получается, что данные могут быть просто задублированы если в один и тот же момент две таски попытаются записать одни и те же данные

Где я неправ?

У нас все описание на wiki (confluence). Обычные таблички с описанием полей. Отдельная колонка с описанием кода (если поле заполняется как то хитро). Под таблицей код, если таблица получается в виде запроса из нескольких источников.

Ну и все этотв иерархии бд/схема/таблица

Коллеги, привет! Кто-то использует уже Databricks Photon? Настолько хорош как обещают?

Всем привет, а подскажите пожалуйста, как можно распараллелить запись в спарке по партициям?
Если я напишу df.write.coalesce(1).saveAsTable("table", parititonBy="date_col"), то у меня будет 1 активные стейдж, хотя по-моему он может писать параллельно все партиции

Может убрать coalesce?

я хочу чтоб в 1 партиции был 1 файл

df.repartition($"date_col").write..... и т.д.

согласен, я не понимаю почему так не работает by default

Может быть потому что не всем нужно так как вам?

Ребят, что бы вы хотели видеть от джуна+-дата инженера?

Мы занимаемся etl процессами, но мне кажется, что наши процессы все равно отличаются от "общепринятых" и тот опыт, который я получаю здесь, на общем рынке не будет так конкурентен с опытом других ребят в тех же компаниях, которые занимаются etl.

sql и язык python/java/scala обяз, мне кажется

а Spark ?

можно научить

Ну это же общие слишком вещи. Вот мы юзаем airflow и пишем на Питоне. Но не юзаем Sql. Вот если я сейчас решаю задачки на SQL, то в чем я отстаю?

Походите по собеседованиям, вам расскажут

Справедливо

все там верно. user1 добавил 000001.json, user2 при первой попытки обламился, перечитал 000001.json и только после этого пошел свое считать/писать. т.е. параллельно ничего не выполнялось