Телеграмм чат группы hadoopusers страница 1320

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 May 23

Vladislav 👻 Shishkov in Data Engineers

Пардон, обсуждали в airflow

источник

23:39пожаловаться #1

Vladislav 👻 Shishkov in Data Engineers

Если совсем на пальцах варианта со своим бэкэндом:
- делаем бэкэнд который наследуется от https://github.com/apache/airflow/blob/53b89b98371c7bb993b242c341d3941e9ce09f9a/airflow/lineage/backend/atlas/__init__.py (или просто копипаст в отдельный файл)
- в конце файла сразу создаем экземпляр этого нового класса
- в конфиге прописываем бэкэнд backend = путь_до_экземпляра.название_экземпляра
- профит

GitHub

apache/airflow

Apache Airflow. Contribute to apache/airflow development by creating an account on GitHub.

источник

23:39пожаловаться #2

Anton Zadorozhniy in Data Engineers

Andrew Atamanyuk

Этот атлас

А покажите ка ваш софт?)

источник

23:40пожаловаться #3

Andrew Atamanyuk in Data Engineers

Vladislav 👻 Shishkov in Data Engineers

Искаропки оно не работает. https://issues.apache.org/jira/browse/AIRFLOW-3486

Если коротко то https://github.com/apache/airflow/blob/53b89b98371c7bb993b242c341d3941e9ce09f9a/airflow/lineage/__init__.py#L34 эта функция должна возвращать экземпляр класса бэкэнда, а она возвращает просто класс.

Тут 2 варианта решения проблемы, отправить им пуллреквест с фиксом этой функции или сделать свой бэкэнд в конце которого инстанцировать его и указать этот инстанс в конфиге как описано http://airflow.apache.org/lineage.html#apache-atlas. Мы пока пошли по второму пути

Дальше должно начать работать

GitHub

apache/airflow

Apache Airflow. Contribute to apache/airflow development by creating an account on GitHub.

источник

23:41пожаловаться #5

Anton Zadorozhniy in Data Engineers

Вообще интеграция через апишку не айс, лучше через кафку

источник

23:43пожаловаться #6

Anton Zadorozhniy in Data Engineers

Andrew Atamanyuk

Показывать откуда и с какой историей идут данные

Атлас хранит только граф, так сказать схему трубопровода, если вам нужно знать историю про конкретную строчку - нужно добавить технические метаданные в сами датасеты или таблицы, и штамповать там айдишки запусков и таймстемпы

источник

23:50пожаловаться #7

2019 May 24

神

神風 in Data Engineers

Доброе утро! Подскажите, пожалуйста, может кто-то сталкивался в cdh 5.16 с проблемой запуска YARN nodemanagerов. Сначала не было прав на container-executor, починили по рекомендации выставили nosuid =false. Теперь пишет, что container-executor.cfg invalid conf file provided.
Собственно проблема не новая https://community.cloudera.com/t5/Cloudera-Manager-Installation/URGENT-Cluster-unavailable-after-upgrade-to-5-16/td-p/83222

Cloudera

Cloudera provides the world’s fastest, easiest, and most secure Hadoop platform.