JS
5-6 серверов с MS SQL, в них пишется телеметрия, надо раз в сутки по ночам(или чаще) делать выгрузки, аналитику и в другое хранилище
Size: a a a
2018 January 12
YE
5-6 серверов с MS SQL, в них пишется телеметрия, надо раз в сутки по ночам(или чаще) делать выгрузки, аналитику и в другое хранилище
Хороший кейс для airflow
SS
На теорфизе нас учили что значок "много больше" это когда "хотя бы в три раза". Я, конечно, придираюсь, но у аирфлоу полно плюшек с локальным экзекьютором которые дают ему право быть почётным участником процесса
понял вас, впредь буду крайне внимательно следить за своими словами
JS
сейчас работает своей "велосипед" на питоне
JS
он справляется
SS
̶о̶т̶л̶и̶ч̶н̶ы̶й̶ ̶к̶е̶й̶с̶ хороший кейс для Airflow
JS
но предвидется нагрузка(больше серверов больше трафика и новые "сущности"), и думает переводить на нормальные рельсы - Apache NIFI - после тестовой нагрузки не вывозит простую выгрузку из таблиц- или память кончается, или очередь образовывается или начинаются странные проблемы с полем "id" по которому нужны новые записи
JS
вот потому и смотрим на airflow
SS
я рискну посоветовать сразу смотреть в сторону докеризации процессов Airflow
это позволит позже масштабировать его работу - тиражировать контейнеры с airflow-worker на новые сервера
это позволит позже масштабировать его работу - тиражировать контейнеры с airflow-worker на новые сервера
JS
да
JS
так и планируем
SS
ой. а у вас там Хадупа нет случаем?
JS
cassandra
YE
ой. а у вас там Хадупа нет случаем?
месос экзекутор в ярне запускать?
SS
у меня Хадуп и КликХаус - основные приемники данных
с Кассандрой не подскажу
(просто рад, что чат оживился, хоть с вами будем дискутировать)
с Кассандрой не подскажу
(просто рад, что чат оживился, хоть с вами будем дискутировать)
YE
Хотя это выдумки. Лучше как проще и разделять airflow от hadoop-а
YE
у меня Хадуп и КликХаус - основные приемники данных
с Кассандрой не подскажу
(просто рад, что чат оживился, хоть с вами будем дискутировать)
с Кассандрой не подскажу
(просто рад, что чат оживился, хоть с вами будем дискутировать)
У нас так же - хадуп и кх
SS
месос экзекутор в ярне запускать?
нет, Celery
у меня там другие заморочки - с штатными хуками-операторами под питон 2.7, а я для айрфлоу использую питон 3.6
у меня там другие заморочки - с штатными хуками-операторами под питон 2.7, а я для айрфлоу использую питон 3.6
SS
в итоге все нужные хуки-операторы переопределяем в виде плагинов
SS
Хотя это выдумки. Лучше как проще и разделять airflow от hadoop-а
Юрий, у вас машина, на которой работает airflow-worker, включена в кластер Хадупа? управляется CM/Ambari? или это внешний сервер, с которого вы коннектитесь к WebHDFS/Hive через kerberos?