Size: a a a

2021 March 15

РП

Роман Пашкевич... in Data Engineers
А почему напрямую с HANA не тянуть данные?
источник

AZ

Anton Zadorozhniy in Data Engineers
Видимо в HANA этих данных нет
источник

IK

Ilya Kozyrev in Data Engineers
надо и туда и туда коннектор. Я не спец в SAP, через HANA может быть доступ в BW ?
источник

РП

Роман Пашкевич... in Data Engineers
Я не спец в BW\HANA, но насколько я понял, HANA это собственно сама база данных, для BW.
источник

РП

Роман Пашкевич... in Data Engineers
A SAP BW, скорей как оболочка, которая позволяет хранить представления (вьюхи), отчеты, всякие "запросы" делать.
источник

РП

Роман Пашкевич... in Data Engineers
Если данные (которые есть в BW), лежат в виде таблицы (или нескольких) в HANA, то их можно спокойно вытянуть через JDBC. Если это вьюха - то сложней. Могу у наших ETL поспрашивать как это реализовано.
источник

IK

Ilya Kozyrev in Data Engineers
Было бы очень круто) Потому что информации вообще практически 0. Нарыл что можно ходить через RFC и JCO (java connector) но непонятно где его взять, в мейвене какая-то протухшая версия лежит, а с оф. сайта качать не вариант
источник

РП

Роман Пашкевич... in Data Engineers
источник

IK

Ilya Kozyrev in Data Engineers
угум, мне бы его в pom мейвена подцепить. или в градл
источник

KS

K S in Data Engineers
Коллеги, хотелось бы узнать ваше мнение о AWS Managed Airflow. Самая последняя версия на AWS 1.10, в то время как вышла 2.0 со значительными изменениями. Что привлекает, это обещания масштабируемости, а также надежды, что большинство багов исправлено. Наше руководство хочет заменить все step functions на dags. Что-то меня терзают смутные сомнения.
источник

T

T in Data Engineers
K S
Коллеги, хотелось бы узнать ваше мнение о AWS Managed Airflow. Самая последняя версия на AWS 1.10, в то время как вышла 2.0 со значительными изменениями. Что привлекает, это обещания масштабируемости, а также надежды, что большинство багов исправлено. Наше руководство хочет заменить все step functions на dags. Что-то меня терзают смутные сомнения.
А деньги посчитали? Мы когда считали нам вышло что степ функции сильно дешевле
источник

KS

K S in Data Engineers
T
А деньги посчитали? Мы когда считали нам вышло что степ функции сильно дешевле
Пока не считали, но это я тоже заметил, там на страничке посчитаны 3 компонента и уже выходит больше тысячи долларов.
источник

GP

Grigory Pomadchin in Data Engineers
T
А деньги посчитали? Мы когда считали нам вышло что степ функции сильно дешевле
+
источник

GP

Grigory Pomadchin in Data Engineers
но все ж степфункции немножко о другом
источник

AZ

Anton Zadorozhniy in Data Engineers
K S
Коллеги, хотелось бы узнать ваше мнение о AWS Managed Airflow. Самая последняя версия на AWS 1.10, в то время как вышла 2.0 со значительными изменениями. Что привлекает, это обещания масштабируемости, а также надежды, что большинство багов исправлено. Наше руководство хочет заменить все step functions на dags. Что-то меня терзают смутные сомнения.
А чем мотивируют?
источник

KS

K S in Data Engineers
Grigory Pomadchin
но все ж степфункции немножко о другом
Ну если добавить eventbridge, то будет похоже, нет?
источник

Oℕ

Oleg ℕizhnik in Data Engineers
Роман Пашкевич
Я не спец в BW\HANA, но насколько я понял, HANA это собственно сама база данных, для BW.
Там всё посложнее BI хранит данные в специальных структурах типа OLAP иерархий и DSO, в OLAP за одну сущность может отвечать несколько десятков таблиц, которые вручную без кучи метаданных и информации об иерархиях  фантастически тяжело будет интерпретировать.

Обычно для интеграции с внешними системами привлекаются SAP PI специалисты, они налаживают интерфейсы для передачи,а BI специалисты настраивают выгрузки данных в необходимых форматах
источник

KS

K S in Data Engineers
Anton Zadorozhniy
А чем мотивируют?
Дело в том, что руководство старорежимное, знают только perl, makefiles. Кто то им напел об оркестрации с помощью airflow, ну и вот вам ещё одна ветряная мельница.
источник

Oℕ

Oleg ℕizhnik in Data Engineers
jdbc это отвратительный способ лазить в HANA, но там есть альтернативные драйвера для жабы и куча методов запушить данные куда-то из ханы напрямую
источник

РП

Роман Пашкевич... in Data Engineers
Oleg ℕizhnik
Там всё посложнее BI хранит данные в специальных структурах типа OLAP иерархий и DSO, в OLAP за одну сущность может отвечать несколько десятков таблиц, которые вручную без кучи метаданных и информации об иерархиях  фантастически тяжело будет интерпретировать.

Обычно для интеграции с внешними системами привлекаются SAP PI специалисты, они налаживают интерфейсы для передачи,а BI специалисты настраивают выгрузки данных в необходимых форматах
Да, там все сложно. Я до конца не разбирался. Повезло что нужные данные были в таблицах HANA. А к ней коннект простой (с Питона).
источник