В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1651 membersпожаловаться на группу
2021 October 31

IN

Ivan Nikolaev in Airflow
А что вместо атласа используйте?
источник
21:18пожаловаться#1

VS

Vladislav 👻 Shishkov... in Airflow
https://habr.com/ru/company/lamoda/blog/551092/
Habr
Как мы выбирали Data Catalog, но в итоге оставили все как есть
Меня зовут Никита Василюк, я инженер по работе с данными в департаменте данных и аналитики Lamoda. Я и моя команда занимаемся всем, что связано с распределенной системой хранения и обработки данных....
источник
21:19пожаловаться#2

v

vasiliy in Airflow
Всмысле пода воркера будет состоять из двух контейнеров, сам воркер и гит контейнер
источник
21:19пожаловаться#3

VS

Vladislav 👻 Shishkov... in Airflow
Но в последнее время все больше смотрим на datahub
источник
21:19пожаловаться#4

AM

Aлексей Mатюхин... in Airflow
Да, им!!
источник
21:19пожаловаться#5

AM

Aлексей Mатюхин... in Airflow
https://airflow.apache.org/docs/helm-chart/stable/manage-dags-files.html
источник
21:19пожаловаться#6

v

vasiliy in Airflow
Гляньте там в середине вэльюсов есть про гит контейнер
источник
21:20пожаловаться#7

v

vasiliy in Airflow
Там даже дескрипшен был про то как юзать
источник
21:20пожаловаться#8

v

vasiliy in Airflow
Оч удобно
источник
21:20пожаловаться#9

v

vasiliy in Airflow
Его енейблите, даёте урл, правда нужно сделать секрет который он юзать будет чтобы скачать с репы, если она приватная
источник
21:21пожаловаться#10

v

vasiliy in Airflow
И все
источник
21:21пожаловаться#11

v

vasiliy in Airflow
У вас постоянно свежие даги
источник
21:21пожаловаться#12

IN

Ivan Nikolaev in Airflow
О спасибо, видимо пропустил.
источник
21:21пожаловаться#13

v

vasiliy in Airflow
Но там даже показано как секрет создать
источник
21:21пожаловаться#14

AM

Aлексей Mатюхин... in Airflow
Так это не гит контейнер. Это когда ДАГи лежат в репозитории, а эирфлоу все время обращается к репозиторию. А мне же нужно сгенерировать ДАГи и положить в папку dags, чтобы эирфлоу их подхватил....
источник
21:23пожаловаться#15

AM

Aлексей Mатюхин... in Airflow
Синхронизация из гитхаба. Но в классической модели, к нему нет доступа...
источник
21:24пожаловаться#16

IN

Ivan Nikolaev in Airflow
А OpenLinage не пробовали ? https://openlineage.io/getting-started
openlineage.io
Getting Started
Data lineage is the foundation for a new generation of powerful, context-aware data tools and best practices. OpenLineage enables consistent collection of lineage metadata, creating a deeper understanding of how data is produced and used.
источник
21:25пожаловаться#17

v

vasiliy in Airflow
там под капотом гит контейнер
источник
21:25пожаловаться#18

v

vasiliy in Airflow
сделайте kubectl desctibe pod blablabla -n airflow и увидите
источник
21:25пожаловаться#19

VS

Vladislav 👻 Shishkov... in Airflow
Нет. Спасибо за ссылку, посмотрим и изучим 🤔
источник
21:26пожаловаться#20