Size: a a a

2021 May 10

S

Sebastian in Data Engineers
как суметь в эирфлоу? я создал даг, но почему-то овнер не отображается, и хоть поставил @once, даг повторяется каждые 30 секунд
источник

SO

Simon Osipov in Data Engineers
Owner отображается, если задать параметр ‘owner’
источник

S

Sebastian in Data Engineers
default_args = {
 'owner': 'petrov_iv',
 'depends_on_past': False,
 'start_date': datetime(2020, 4, 13),
 'retries': 0
}
источник

A

Alex in Data Engineers
сразу что бросается в глаза

1) вопрос как дефайнить граф, рест api я не нашёл, а предлагать писать питон не вариант, часть пользователей только R. условно у нас уже есть обвязка которая по минимальному конфигу/параметрами cli выгенеривает для узи весь xml

2) давать доступ на подкладывания dag это дыра в безопасности, так как airflow как master так и воркеры ходят напрямую в базу данных (ну решили разрабы airflow что вместо того чтобы думать над рест, лучше всё через базу синкать всё). parsing дага это выполнение python кода, как и в случае с sbt/gradle, вспомним что последнее время даже идея на импорте уточняет. базовый рест подвозят только в 2.0 но и он  экспериментальный
источник

SO

Simon Osipov in Data Engineers
Once где?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Второе какое-то притянутое, зачем давать доступ, если надо сделать просто ci/cd
источник

S

Sebastian in Data Engineers
dag = DAG(dag_id='random-people-generator', default_args=default_args, catchup=False, schedule_interval='@once')
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
И я так и не понял, почему в каждом предложении упоминание рест апи и для чего?
источник

S

Sebastian in Data Engineers
источник

SO

Simon Osipov in Data Engineers
Ну есть ощущение, что у вас не синхронизовался даг, как вы их подкладываете в папку?
источник

A

Alex in Data Engineers
мне нужно с пользовательской машинке заскедулить задачу с пользовательским кодом и параметрами

следовательно это нужно создать новый dag на выполнение

как мне это сделать по ресту на котором дополнительно висит авторизация?
источник

S

Sebastian in Data Engineers
файл просто положил в папку dags
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Я опять не понял, почему именно по апи
источник

SO

Simon Osipov in Data Engineers
А в конфиге не частоту сканирования папки не меняли?
источник

S

Sebastian in Data Engineers
нет, я накатил дома только для изучения. походу, я что-то где-то упустил в коде...
источник

AZ

Anton Zadorozhniy in Data Engineers
есть еще всякие специальные штуки вроде Armada, но в принципе они все умеют то что тебе нужно, все в кубере управляется через API
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

S

Sebastian in Data Engineers
лучше было написать так наверное. проверю после фильма
источник

A

Alex in Data Engineers
потому что пользователи привыкли к одной команде которая работает на mac/windows/linux

условно
tools -f config.conf —cron “0 0 * *” bla-bla-bla

проверяем всё ли закомичено
делаем образ/пушим
скедулим

предложите ваш вариант без апи
источник

SO

Simon Osipov in Data Engineers
https://t.me/ruairflow

Можно будет зайти к ребятам, спросить
источник