I
а можно конфиг supervisor-a
Size: a a a
2018 January 12
JS
реклама чистки зубок - меня уже достала :))) в процессе гугления по Airflow
SS
например после перезагрузки сервера
у меня это сделано так:
1) созданы докер-образы для airflow-webserver, airflow-scheduler, airflow-metadatadb, airflow-flower, airflow-worker
2) их снхронный запуск описан в файле docker-compose.yml
там же указано для каждого контейнера опция
restart: always
3) сам docker включен как сервис на хостовой ОС
systemctl enable docker
4) все докер-контейнеры с процессами airflow стартованы
docker-compose up -d
1) созданы докер-образы для airflow-webserver, airflow-scheduler, airflow-metadatadb, airflow-flower, airflow-worker
2) их снхронный запуск описан в файле docker-compose.yml
там же указано для каждого контейнера опция
restart: always
3) сам docker включен как сервис на хостовой ОС
systemctl enable docker
4) все докер-контейнеры с процессами airflow стартованы
docker-compose up -d
JS
а внутри образа докера - дебиан, убунта? в образе datadb - постгрес?
SS
а внутри образа докера - дебиан, убунта? в образе datadb - постгрес?
FROM centos:7
это для установки клиентских либ хадупа
а внутри airflow-metadatadb - Postgres
это для установки клиентских либ хадупа
а внутри airflow-metadatadb - Postgres
JS
FROM centos:7
это для установки клиентских либ хадупа
а внутри airflow-metadatadb - Postgres
это для установки клиентских либ хадупа
а внутри airflow-metadatadb - Postgres
спасибо - потихоньку становится понятно
SS
если у вас кассандра, то лучше, пожалуй, дебиан/убунту
а если у вас кликхаус без хадупа, то точно убунту
а если у вас кликхаус без хадупа, то точно убунту
JS
у нас всё на ubuntu 16 и все базы и сервисы в docker
JS
то есть для работы AirFlow - надо действующий scheduler и для UI - webserver это достаточно
SS
ребята, вы даже не представляете как я рад, что есть такой чат...
я уже год варюсь в Airflow, не покидало ощущение что это был неправильный выбор на рынке опенсорса, что нужно было тупо использовать внаглую без лицензии Oracle Data Integrator
а оказывается есть и другие люди, которые строят на нем ETL!
🥃 пью за ваше здоровье сегодня! ;)
я уже год варюсь в Airflow, не покидало ощущение что это был неправильный выбор на рынке опенсорса, что нужно было тупо использовать внаглую без лицензии Oracle Data Integrator
а оказывается есть и другие люди, которые строят на нем ETL!
🥃 пью за ваше здоровье сегодня! ;)
OI
JS
YE
ребята, вы даже не представляете как я рад, что есть такой чат...
я уже год варюсь в Airflow, не покидало ощущение что это был неправильный выбор на рынке опенсорса, что нужно было тупо использовать внаглую без лицензии Oracle Data Integrator
а оказывается есть и другие люди, которые строят на нем ETL!
🥃 пью за ваше здоровье сегодня! ;)
я уже год варюсь в Airflow, не покидало ощущение что это был неправильный выбор на рынке опенсорса, что нужно было тупо использовать внаглую без лицензии Oracle Data Integrator
а оказывается есть и другие люди, которые строят на нем ETL!
🥃 пью за ваше здоровье сегодня! ;)
Приходи на митап :)
SS
когда? где? я в Питере
JS
Приходи на митап :)
кстати, а где и когда
JS
хоть посмотреть и послушать
YE
24.01.2018 в Офисе Mail.Ru
SS
в Москве?
YE
