Раз уж подняли эту тему, кто может сказать про NiFi vs. Airflow?
Не vs, их имеет смысл использовать вместе. Airflow - оркестратор, а не ETL. Если уж говорить прямо, писать трансформации на питоне - это полный отстой: удобно, но медленно.
При этом в NiFi нельзя как-то сложно планировать. Условное исполнение веток делать и прочее. Поэтому их часто использую вместе. Или используют вместо Airflow другие оркестраторы
При этом в NiFi нельзя как-то сложно планировать. Условное исполнение веток делать и прочее. Поэтому их часто использую вместе. Или используют вместо Airflow другие оркестраторы
Отдельный оркестратор для NiFi... с учетом что в NiFi из коробки нет внешнего запуска потока и его костылить надо?
Хотя возможно я NiFi как то не так готовлю :( у нас NiFi обходится без каких то дополнительных моментов по запуску, штатно справляется, главное помнить о проблеме с лимитом трэдов.
О) не знал что подобное есть - спасибо ! IMho не жалко 10к за книгу которую будешь читать каждый день )
ТаскДата переводила. У них (ну или у нас) есть open-source mdm unidata ce в каком-то виде. Для data goverence есть unidata goverence (платная). Из альтернатив Apache atlas