MC
Size: a a a
2021 March 05
IB
Это решение коробочное, для 2-3 источников
Если есть какое то нормальное сравнение - пришлите пожалуйста
MC
Если есть какое то нормальное сравнение - пришлите пожалуйста
Ну если полноценный ETL нужен, то airflow
IB
опять это слово)
MC
опять это слово)
Чем платить за ms analytics services
MC
Бесплатно, главное ручки))
IB
а есть пример где большие данные обрабатываются на airflow? какие нибудь логи которые по 10Гб в сутки прибывают. Он поддерживает кластеризацию? Массово-параллельную обработку?
ei
airflow - не поддерживает streaming, остальное то как Вы напишите
IB
evgeny ivanov
airflow - не поддерживает streaming, остальное то как Вы напишите
Ну я думаю что это и не нужно, это больше для шин актуально. А тут только батчи 😊
ei
по сути airflow - это запуск, каких-то task-ов последовательно,паралельно/условно (как захотите) в соответствии с workflow
MD
evgeny ivanov
по сути airflow - это запуск, каких-то task-ов последовательно,паралельно/условно (как захотите) в соответствии с workflow
Насколько быстро/легко с ним разобраться?
MC
Насколько быстро/легко с ним разобраться?
Пару видосов на ютьюбе))
ei
если знаете linux/python - легко
MD
evgeny ivanov
если знаете linux/python - легко
вообще радует
V
началось в колхозе утро)
Скажите, пожалуйста, а сет анализ в скрипте загрузки работает же?
MC
а есть пример где большие данные обрабатываются на airflow? какие нибудь логи которые по 10Гб в сутки прибывают. Он поддерживает кластеризацию? Массово-параллельную обработку?
Пример -air bnb ,которые его создали
ЕС
Скажите, пожалуйста, а сет анализ в скрипте загрузки работает же?
нет, с чего бы?)
ИС
а есть пример где большие данные обрабатываются на airflow? какие нибудь логи которые по 10Гб в сутки прибывают. Он поддерживает кластеризацию? Массово-параллельную обработку?
в циан используют Luigi (это как Airflow, но на уровень вниз),..."войти" легче.
V
нет, с чего бы?)
Эээ, а вот когда в let передают переменные с сет анализом?
MD
да про луиджи много слышал хорошего