Size: a a a

2021 September 13

ЕГ

Евгений Глотов... in Data Engineers
И уйдут в свои кубики играть?)
источник

KS

K S in Data Engineers
Ну мне главное свалить вину на соседей и жить дальше. 😁
Наши джобы отрабатывают от 2 до 9 минут. У соседей по 13 часов.
источник

AZ

Anton Zadorozhniy in Data Engineers
в Факторио они будут играть, и воображать себя капитанами индустрии
источник

ЕГ

Евгений Глотов... in Data Engineers
Тогда достаточно скрин с мониторинга приложить
источник

AZ

Anton Zadorozhniy in Data Engineers
that's the spirit
источник

ЕГ

Евгений Глотов... in Data Engineers
А вообще можно и соседей попинать, чтоб джобы лучше писали. Чем больше у конторы уходит денег на AWS, тем меньше денег уходит на твою зп
источник

AZ

Anton Zadorozhniy in Data Engineers
там мультипликатор мб большой
источник

AZ

Anton Zadorozhniy in Data Engineers
но вообще тактика спрятаться в тени большого потребителя может больно укусить, надо честно своей работой заниматься и отвечать за свои метрики
источник

T

T in Data Engineers
Начать с тегирования, вроде раньше можно было деталезацию по ресурсам с тегами получить
источник

T

T in Data Engineers
Тред не читай @ сразу отвечай
источник
2021 September 14

A

Alex in Data Engineers
Я это вопрос тут месяца 4 назад подымал

Мне сказали что все правильно,  gitops и все через гит это правильно, api на изменение не нужно

То что в узи я могу делать все через api, это неправильно

😊
источник

ЕГ

Евгений Глотов... in Data Engineers
Есть вещи, которые ну совсем никак, даже изменением даг файла, вот это пожалуй беда)
источник

AZ

Anton Zadorozhniy in Data Engineers
я думал в версии 2 это поправили, там апишка была таким большим обещанием, но нет
а поменять даже какой-нибудь scheduler_interval через апишку это очевидно
> какая то наркомания и глупость, которая выглядит как антипаттерн
источник

A

Alex in Data Engineers
нет, во второй немного добавили методов и апи стало на апи похожим, первая была совсем грустной
но манипуляции dag'ом всё равно не подвезли
источник

AZ

Anton Zadorozhniy in Data Engineers
я знаю, у нас интеграция сделана в нашем MLOps теперь (программно порождаем даги, показываем их статус, такое)
источник

A

Alex in Data Engineers
как в airflow затянули?
там вроде есть возможность указать провайдера откуда забирать даги
с фс или с ещё откуда

так понимаю вы добавили чтобы в вашу систему ходил и забирал код?
источник

AZ

Anton Zadorozhniy in Data Engineers
нет, эйрфлоу мы сильно менять не может, потому что когда это едет в поля - там нужно с клиентским интегрироваться, а там могут быть свои настройки
источник

AZ

Anton Zadorozhniy in Data Engineers
мы порождаем даги программно и умеет их пихать куда надо, а также проксируем через свой бэкенд апишку
источник

A

Alex in Data Engineers
просто мне не само понятно куда вы пихаете dag
источник

AZ

Anton Zadorozhniy in Data Engineers
в гит или NFS
источник