YV
тут можно соответственно попробовать отдебажить, или сделать просто вызов твоей задачи с методом execute()
Size: a a a
2020 August 03
YV
но обычно это все довольно сложные пути, и дебажим принтами и глазами в сорсы ))
YV
у меня был момент, когда я застрял на том, что
ti не было в контексте. с интерактивным питоном быстрее бы получилось понять, в чём засадасогласна
НС
так-то спасибо за воркшоп, @xnuinside @sevak_avet @vladimir_baev @vladimir_gavrilenko
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
c
ну вот тут предлагают просто pdb использовать. https://godatadriven.com/blog/testing-and-debugging-apache-airflow/
YV
так-то спасибо за воркшоп, @xnuinside @sevak_avet @vladimir_baev @vladimir_gavrilenko
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
он в Data Engineering-е хорошо ложится, а в чисто Бэкенде никогда не применяла, всегда кажется оверхед
c
он в Data Engineering-е хорошо ложится, а в чисто Бэкенде никогда не применяла, всегда кажется оверхед
это как раз ответ на более ранний вопрос. про то, что лучше использовать. airflow либо что-то свое простое.
YV
у нас была еще секция про кастомные хуки и про тесты ) но с таймингом пошло все не так как мы планировали
YV
так-то спасибо за воркшоп, @xnuinside @sevak_avet @vladimir_baev @vladimir_gavrilenko
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
очень интересный инструмент
пока ещё не осознал, куда его можно присобачить в наших задачах, но буду кумекать 😊
на здоровье
НС
он в Data Engineering-е хорошо ложится, а в чисто Бэкенде никогда не применяла, всегда кажется оверхед
ну вот буду с нашими дата-сатанистами на неделе обсуждать, были ли у них случаи использования. или, возможно, есть подходящие места, куда его можно вкрутить
НС
он в Data Engineering-е хорошо ложится, а в чисто Бэкенде никогда не применяла, всегда кажется оверхед
кстати, а как Airflow можно совмещать с каким-нибудь Scrappy ?
возможно, встраивать Scrappy как один из степов пайплайна Airflow?
возможно, встраивать Scrappy как один из степов пайплайна Airflow?
YV
ну вот буду с нашими дата-сатанистами на неделе обсуждать, были ли у них случаи использования. или, возможно, есть подходящие места, куда его можно вкрутить
тут еще момент что это не про ML, если у тебя дата саентисты хотят чтобы в пайплайне были видны 100 фич и по этим фичам какие-то обработки - то это не лучший кейс, не все ML задачи лягут на Airflow
YV
тут у @vladimir_baev больше опыта
YV
кстати, а как Airflow можно совмещать с каким-нибудь Scrappy ?
возможно, встраивать Scrappy как один из степов пайплайна Airflow?
возможно, встраивать Scrappy как один из степов пайплайна Airflow?
ты про scrapy?
НС
ты про scrapy?
да
YV
тот что для веб краулеров?) мнея две p смутило
НС
я по памяти писал ) у меня в голове оно звучит со сдвоенным П )
YV
он же процессом отдельным запускается
YV
можно запустить - подождать пока он отработает и получить exit code
YV
если что-то выдергивать из результатов - то тут как обычно надо магическую шляпу и лезть придумывать велосипед, кажется что так