ДС
Мы в таких случаях добавляем параметр "скачать начиная с" и глядя на него уже генерируем таски от начальной даты до текущей с разбивкой по нужному периоду.
Size: a a a
2017 December 18
П
Мы в таких случаях добавляем параметр "скачать начиная с" и глядя на него уже генерируем таски от начальной даты до текущей с разбивкой по нужному периоду.
где то я читал, что это возможно сделать без танцев, не помню где вот
ДС
backfill'ом через cli?
ДС
Можно, но если при этом не менять код, все данные будут перезаливаться, не только по одному клиенту.
П
Мы в таких случаях добавляем параметр "скачать начиная с" и глядя на него уже генерируем таски от начальной даты до текущей с разбивкой по нужному периоду.
Вот что я сообразил. Используя логику trigger_rule, если клиент новый, тогда идет генерация тасков для забора истор.данных, а если не новый, тогда таск на забор вчерашних данных. Так норм?
ДС
Trigger_rule тут не поможет. Он отвечает за запуск следующих тасков в зависимости от состояния предыдущих. А сгенерировать таски можно только в коде дага, опираясь на значение переменных Airflow (интерфейс Variable).
OI
Вот что я сообразил. Используя логику trigger_rule, если клиент новый, тогда идет генерация тасков для забора истор.данных, а если не новый, тогда таск на забор вчерашних данных. Так норм?
Вообще идея хорошая. Только нужно использовать xcom push и xcom pull. И python operator. Один таск будет пушить в xcom параметры загрузки, второй будет из xcom их подтягивать.
П
Вообще идея хорошая. Только нужно использовать xcom push и xcom pull. И python operator. Один таск будет пушить в xcom параметры загрузки, второй будет из xcom их подтягивать.
ок, попробую так
OI
только там таски генериться не будут
ДС
Только XCom не генерирует таски, так что всю обработку с делением на месяцы нужно будет в Питон-операторе или Баш-операторе крутить.
П
Только XCom не генерирует таски, так что всю обработку с делением на месяцы нужно будет в Питон-операторе или Баш-операторе крутить.
ок, на питоне напишу
П
В чем может быть причина того, что не видит переменные?
OI
Непечатные символы?
П
нет таких. А если через установить переменную через
Variable.set('keytest', 'value') то такие видит
Variable.set('keytest', 'value') то такие видит
YE
Документации пишут так:
У нас везде используются двойные кавычки, не думаю что в этом дело, но попробовать стоит.
from airflow.models import Variable
foo = Variable.get("foo")
bar = Variable.get("bar", deserialize_json=True)
У нас везде используются двойные кавычки, не думаю что в этом дело, но попробовать стоит.
YE
А репа в скулайте?
YE
Туда твоя переменная записалась нормально?
П
Туда твоя переменная записалась нормально?
YE
ну ты же ch_host не через set писал
YE
а через ui