ЕГ
А вот кто как, но я почему-то уверен, что в 99% случаев просто по времени разносят)
Size: a a a
2021 September 13
M
Питонисты...
AZ
а какая гистограмма этих людей по числу джобов?
I
Только у одного более 1000. Двое до 10 джобов, остальные до 100.
I
Да, я уже видел несколько проектов, где в Airflow чисто баш скрипты запускают. Полностью отказались от логики в питоне.
VS
Airflow норм, если не пилить в нем сложной логики, главное правило - это крон на стеройдах
M
Сча скадут что питон не для этого)
AZ
я тут прикрутил интеграцию с Airflow к нашему MLOps решению, и прям у меня сильно смешанные чувства по поводу него
ЕГ
А джоб это что в случае ырфлоу?
AZ
я думаю DAG
ЕГ
Тогда надо метрику dag * task
ЕГ
Потому что у кого-то 1 даг - 1 таск
ЕГ
А у кого-то 1 даг - 100 тасков
РД
Нид хелп, какой-то бред!
пытаюсь spark-submit --master yarn --deploy-mode cluster
Падаю с exitCode 13, times due to AM container exitCode:13
Когда запускаю без deploy-mode cluster - отрабоатываю
пытаюсь spark-submit --master yarn --deploy-mode cluster
Падаю с exitCode 13, times due to AM container exitCode:13
Когда запускаю без deploy-mode cluster - отрабоатываю
AZ
даже не подходя к питону в качестве DSL (я не против), чисто с архитектурно-опсовой точки зрения, это же прям кхм, не подарок
ЕГ
Логов маловато
РД
причем есть два стенда, на одном все отлично отлетает, а на втором, где кажется что идентичные настройки - нифига
РД
ща дам лог
VS
Airflow?
AZ
ну да