YV
если там какие-то стримовые штуки нонстопом - то тут у Airflow с этим особо инструментов нет - она может только Sensor-ом ходить и опрашивать процесс чтобы понять как дела
Size: a a a
2020 August 03
НС
он же процессом отдельным запускается
ага. но можно, наверное, как-то настроить airflow, чтобы один из шагов триггерился на событие "скрапи завершил работы"? и/или триггерить запуск скраппи по зовершению какого-то из степов пайплайна airflow
НС
ну, т.е., понятно, что на коленке пожно накостылить любые способы интеграции
но интересно, есть ли какие-то готовые/известные схемы 😊
но интересно, есть ли какие-то готовые/известные схемы 😊
YV
ага. но можно, наверное, как-то настроить airflow, чтобы один из шагов триггерился на событие "скрапи завершил работы"? и/или триггерить запуск скраппи по зовершению какого-то из степов пайплайна airflow
да тут или таска которая запускает сам процесс и бесконечно висит с бесконечным таймаутом -которая ждет окончания, или таска которая запускает и если процесс запустился - она success, а дальше сенсор, который ждет какого-то отстука о завершении
YV
ну, т.е., понятно, что на коленке пожно накостылить любые способы интеграции
но интересно, есть ли какие-то готовые/известные схемы 😊
но интересно, есть ли какие-то готовые/известные схемы 😊
нас питонистов хлебом не корми, дай наманкипатчить, да закастылять что-нибудь
НС
ага, люблю всякие истории, как скрещивали ужа с ежом ))
ВБ
ну вот буду с нашими дата-сатанистами на неделе обсуждать, были ли у них случаи использования. или, возможно, есть подходящие места, куда его можно вкрутить
про применение в ML, Airflow можно частично заиспользовть (ETL'ная часть, батч дискавери и высокоуровневая оркестрация). если хочется приблизить DS'ов к продакшену, есть интересные тулы для воспроизводимых экспериментов, трекинга метаинформации и жизненного цикла моделей (например, mlflow). еще я бы посоветовал присмотреться к Kubeflow (там философия организации пайплайнов более понятна DS'ам, есть концепции экспериментов, интеграции с tensorflow), ребята из гугла активно его продвигают, но именно по ETL фичам они пока не дотягивают до Airflow. У нас был опыт гибридного Airflow+Kubeflow решения под ML кейс, получилось довольно хорошо взять преимущества от каждого продукта
2020 August 04
NK
Программа PiterPy online:
https://piterpy.com/program
https://piterpy.com/program
DK
На апрель перенесли?
IS
На апрель перенесли?
😁
IS
Сорри, ща поправим!
D
🤦♂️
DK
Бывает :)
IS
Всем привет!
Начинаем через 20 мин, подключайтесь, ключи прежние.
Проверяйте, в эфире сейчас играет заставка с обратным отсчётом.
https://sbtg.ru/mbox/piterpyonline20/
Начинаем через 20 мин, подключайтесь, ключи прежние.
Проверяйте, в эфире сейчас играет заставка с обратным отсчётом.
https://sbtg.ru/mbox/piterpyonline20/
C
Denis Kalanov
Все ли работает? Всем все слышно? Видно?
Все ли работает? Всем все слышно? Видно?
IS
Мы начали =)
D
записи на главной странице трансляции:
https://sbtg.ru/mbox/piterpyonline20/
https://sbtg.ru/mbox/piterpyonline20/
KM
KM
на английском работает