Спасибо!

Почему именно с дельта лейком, а не с айсбергом или худи? Или ещё чем-нибудь? Мне кажется, лучше начать просто с ванили.

Всем привет!

Расскажите насколько актуален sql в spark?

SQL актуален в data engineering

Привет. Я активно юзаю в спарке sql. Можно трансформировать данные в датафреймах, как пример. Особенно проще именно на сиквеле это сделать, когда в даунстриме, допустим, структура динамическая, добавляются новые поля, часть полей имеет другие названия

А что ещё можно делать?

А на питоне/скале/джаве задачу работы с датафреймами, когда в сорсе структура динамическая - сделать тяжело

я использую сиквел для этого. Ну, вообще, сиквел мышление очень важно - группировка, сортировка, партицирование данных

Экстракты?

Хороший вопрос. Спасибо, коллега. Я зашел на сайт худи - мне показалось, что это легаси. Ну и ко мне за год от рекрутеров не приходило оппортюнити уметь в худи. Насчет айсберга - я не могу понять, зачем он нужен, когда можно сделать решение на дельталейке. При этом дельталейк активно продвигается датабриксом. Ну и складывается впечатление, что худи и айсберг это очень нишевые тулы, в отличие от хадупа, хайва, спарка. Ну и дельту запустить - просто указать через параметры спарк-сабмита библиотеку

не только извлечение. в первую очередь, когда ты выполняешь spark.select("SOME SELECT SQL EXPRESSION")  - у тебя формируется датафрейм. Просматривая данные в датафрейме, данные представлены в табличной структуре

Синтаксис сильно отличается?

от чего? -)

От других

Ну и еще. Если работаем со спарком от датабрикса, то можем делать DML операции над единичными строками (INSERT/UPDATE/DELETE)

пожалуйста, напишите ваш вопрос детальнее. Мне непонятно

От transact-sql синтаксис сильно отличается при работе со spark?

Дельту имеет смысл тащить только если есть рантайм от бриксов. По поводу рекрутеров это так себе метрика, вероятно вы просто в пузыре. На пример, меня раньше тоже только на Aws и скалу звали.

это если работать с дельтой?

или  у них такой функционал для всех форматов?