ну вот оказывается не так просто, да и код накопленный за 30 лет не очень помогает (интел не очень поддерживает в этом, что логично)

С oozie кто-нибудь работает или это считается легаси в наши дни?

Всем привет

А кто как DDL-ки для BigQuery хранит? В каком виде?

Да! Мигрируемся с него на Airflow :)

Навскидку есть вариант экспорта schema definitions в json

Кто то мигрирует, мы пока используем (сложно представить как эйрфлоу потянет почти 4к джобов)

А не сталкивались с проблемой - неправильные статусы в yarn у oozie приложений. Даже если скрипт упал, в yarn видим succeed...

конкретно шёл екшены не используем, но были случаи когда зависимая джоба не совсем корректный статус возвращала и узи считать что норм

видел параметризованные скрипты на шелле которые дергают bq mk :)

А почему нет? Где узкое место?

а как-то удалось это побороть?

Я вот не могу найти как комментарий добавить средствами SQL ( Все ссылки на апи и рестки

комментарий на колонку

col_a INT64 OPTIONS(description="Not sure what to store here")

обычно в JSON все-таки, по-моему у них create table можно только через веб-консоль толкнуть

а с JSON можно через bq

Ну пока из того что видел к ейрфлоу много вопросов:

1. Узи позволяет работать с собой чисто по ресту, эйрфлоу для скедулинша приложения с пользовательской машины требует доступ в базу. Рест с год назад был в процессе. Давать доступ на запись в базу 100+ человекам как-то стрёмно, а держать вагон мелких эйрфлоу оверхед по менеджменту

2. Оози сам умеет в локализацию, эйрфлоу нет, ожидается что код на воркерах уже есть. Если для какого кубика это норм, то для хадупа это опа (я описывал как у нас в одном хадуп кластере вагон разных спарков живёт)

3. Скедулер у эйрфлоу в единственном экземпляре, то есть на большом количестве джобов и шагов становится узким местом, так как требует регулярного пересчёта всех шагов. У узи только spawn процесса базового, дальше он сам уже разбирает и запускает шаги по форкфлоу

Про скедулер можете почитать ещё тут, мы их систему пытаемся внедрять, так что общаемся периодически и про "большие" эйрфлоу наслышаны

https://medium.com/databand-ai/improving-performance-of-apache-airflow-scheduler-507f4cb6462a

То есть небольшие инсталляции в кубике ОК

Как замена оозие в хадупе на норм объёмах точно нет

На вопрос:
Как 100 датасатанистов запустить в 1 эйрфлоу

мне в канале эйрфлоу посоветовали нарезать на каждых 10-15 сатанистов по отдельному эйрфлоу инстансу :) я сказал "спасибо"

зачем вообще сатанистам в эйрфлоу?