EI
это может оказаться дороже
Size: a a a
2021 September 30
Д
В плане, дороже?
EI
в плане времени и ресурсов.
EI
у меня ежедневно запускается более 400 задач, некоторые по несколько раз
EI
и я считаю, что порог для перехода на Airflow еще не наступил
EI
да, и еще более сотни задач на обновление моделей данных, которые запускаются скриптами на питоне не по расписанию.
EI
кстати, скейчас в планировщике доступно создание задачи на запуск внешнего приложения.
того же скрипта на питоне, в котором будет прописан запуск параллельных задач.
того же скрипта на питоне, в котором будет прописан запуск параллельных задач.
ei
А запуск таска только после успешного завершения двух ранее паралельно запущенных тасков, удалось решить?
EI
да, там же в триггере выбираешь задачи и интервал времени адекватный надо указать
EI
Кстати вот - прекрасно отрабатывает
ei
Т.е. таска запустится, только если два триггера отработают (не только по одному из них) ? Если да, то хотелось бы пример такой настройки. Опять что-то новое для меня
И
Добрый день. От клиента поступил вопрос - как при загрузке файла через менеджер данных указать distinct? Всё в ступоре... :( Нужно идти к Вам на тренинг...?
Говорят что нет такой опции...
Говорят что нет такой опции...
ei
Протестил, да оказывается действительно можно запускать таску только после завершения двух паралельно запущенных. Этот факт + external task для меня также отодвинули внедрение внешних оркестраторов
EI
Вооот !! ))
Только в QMC не очень удобно работать с большим количеством задач.
Для визуальной группировки используйте префиксы в именах задач
Только в QMC не очень удобно работать с большим количеством задач.
Для визуальной группировки используйте префиксы в именах задач
ЕС
Здравствуйте. Честно говоря, такой опции в менеджере данных кажется нет. Приходите на трегинг чтобы изучить полноценные способы загрузки данных)
И
Спасибо :)
СС
Хорошо сказано. Чувствую теперь себя полноценным. :)
ЕС
у меня к дата-менеджеру очень много вопросов) Для меня он скорее препятствие перед нормальными способами работы с данными)