S
Vitaly Pismarev
Может субъективно, но для DE задач собирать контейнер для каждой стадии так себе... Часто проще весь даг в питоне описать.
Агро в отличии от айрфлоу умеет добавлять таски в даг налету, на удивление часто нужен такой юзкейс
Size: a a a
2021 March 18
VP
Агро в отличии от айрфлоу умеет добавлять таски в даг налету, на удивление часто нужен такой юзкейс
Автогенерация дага имеется ввиду? В airflow это тоже реализуемо же
S
Только до запуска дага, в уже бегущий даг добавить таску нельзя
AZ
я посмотрел на argo workflows, это просто CRD, можно написать оператор которых их порождать будет из метаданных (ну или из приклада просто, через клиент для кубера)
K
это плохой дизайн имхо
K
если в запущенный даг нужно добавлять налету еще таску
AZ
сам по себе дизайн argo workflow для дата пайплайнов такое конечно, оверхед дикий
S
Дизайн конечно плохой, но есть волшебное слово - НАДА 😀
K
ну триггрните таску отдельно
K
мы точно про автоматизацию говорим?
S
Например тюнить гиперпараметры модели до целевого значения но не более 5 итераций
S
А каждая итерация это кусок пайплайна
AZ
то есть если у вас пайплайн на чисто SQL - эта штука будет контейнер для каждого шага запускать, никакого реюза даже соединения
S
У нас пайплайн - чистая ДС лапша)
AZ
Например тюнить гиперпараметры модели до целевого значения но не более 5 итераций
так это шаг один, у него параметры - число итераций, цели по метрикам, зачем цикл в пайплайн разворачивать
S
Технически - это несколько степов в пайплайне. Лепить их в один таск - не эффективно с точки зрения ресурсов
AZ
Технически - это несколько степов в пайплайне. Лепить их в один таск - не эффективно с точки зрения ресурсов
Ну это как написать, возможно если вы снапшотите между итерациями и можете использовать снапшоты при сбое то имеет смысл выделять их как отдельные шаги, но я все равно бы генерировал статический граф и пропускал лишние итерации если что, чем узел графа который взрывается разными подграфами в зависимости от данных; как уже отметили это антипаттерн
S
можно конечно развернуть цикл с ограниченым числом шагов и скипать лишние, но это звучит как костыль и айрфлоу даг при этом выглядит как костыль)
OI
Привет!
А есть вариант спарковые jdbc запросы к постгресу проксировать через какой-нибудь хост, чтобы не ходить напрямую с экзекуторов?
А есть вариант спарковые jdbc запросы к постгресу проксировать через какой-нибудь хост, чтобы не ходить напрямую с экзекуторов?