Д
'retries': 2,и при падении попыток перезапуска больше нет. Может кто то сталкивался?) версия v2.1.2
'retry_delay': timedelta(minutes=5),
Size: a a a
2021 October 06
АК
Всем привет. Добавляю в агрументы существующего дага
VS
Не очень понятно что и кому он подаёт, но наверняка начать можно с логов
2021 October 07
VK
Привет всем, кто может помочь? Как с помощью hdfs.operator или hdfs.sensor узнать, сколько файлов в папке hdfs?
VS
На этой вроде на изях нельзя, а вот при клике можно через плагин
VK
Привет, кто может подсказать. Как сделать Даг, выполняющий определенную команду hdfs?
D
Написать свой, использовать готовый.
VK
Где его можно найти? Не могу никак, к сожалению. Буду благодарен за помощь
D
Быстрое гугление не помогло, напиши обертку вокруг BashOperator. ))
VK
Просто, как мне обращаться к hdfs, если например они будут на разных машинах с airflow
D
SshOperator
ME
BashOperator :)
ME
Иди пайтон оператор и какие-то обёртки типа https://hdfscli.readthedocs.io/en/latest/
VK
Спасибо
2021 October 11
DL
Всем привет, подскажите пожалуйста, хочу запускать dag только по субботам, поставил schedule_interval = “0 0 * * SAT”, гад не включился, что делаю не так?