Size: a a a

2021 September 13

ЕГ

Евгений Глотов... in Data Engineers
Ну ролевую модель вроде никто не обещал
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Oauth боль всех опенсорс, мало кто может нормально сделать, особенно, если ты пользуешься каким-нибудь ms.
Сейчас как раз ковыряю апишку второй версии airflow, которая по факту стала первой версией и все что там есть, вполне устраивает и я могу спокойно наклепать модулей для ansible для cd. Говорить про изменение дагов через апи - какая то наркомания и глупость, которая выглядит как антипаттерн.
Безопасность api реализована отдельно и без проблем решается, хз, в чем проблема.
Даги не только через фс, но как основа, да, и это логично. Мы же тут про код говорим, а не про боевой бекенд.
Ну и да, масштабированние конечно не прям блестяще, по крайне мере с точки зрения bare install, но в целом, отказоустойчивость есть и она на высоком уровне.
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Это ролевая модель для вебсервера на фласке
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Вы вообще, понимаете, что и как там и для чего или просто пинаете airflow в прод бездумно?
источник

AZ

Anton Zadorozhniy in Data Engineers
конечно не понимаю, пинаю бездумно
источник

AZ

Anton Zadorozhniy in Data Engineers
(что самое больное - мне надо и 1.х и 2.х поддерживать, тут вообще беда)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Это вам надо, нормальные люди такой хренью не занимаются
источник

AZ

Anton Zadorozhniy in Data Engineers
все так
источник

AZ

Anton Zadorozhniy in Data Engineers
Oozie чем хорош был - никакого своего UI нету, все доступно через апишку, так что если что-то есть в вашем UI - все тоже самое можно сделать через апишку
источник

AZ

Anton Zadorozhniy in Data Engineers
кто сейчас делает приложение в котором UI не работает через API - это прям уверенные в себе люди
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
субъективно
источник

AZ

Anton Zadorozhniy in Data Engineers
я не знаю таких примеров кроме Airflow
источник

AZ

Anton Zadorozhniy in Data Engineers
обычно наоборот, все начинается с бэкенда, к нему прикручивается какой-то фронт (часто он не может все что выставлено через бэкенд)
источник

W

W1tchblade in Data Engineers
приветствую, ни у кого случайно не остались Хортонворковские Hadoop rpm'ки до того как они слились с Клаудерой?
источник

SS

Sergey Sheremeta in Data Engineers
всем привет! поделитесь пожалуйста электронным вариантом книги Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Whiteboard to Star Schema
источник

KS

K S in Data Engineers
Коллеги, подскажите как лучше определить джобы в AWS Glue, которые потребляют больше всего долларов?
источник

KS

K S in Data Engineers
Процесс немного усложняется тем, что в некоторых параллелизм до 30 и количество воркеров немеряно.
источник

KS

K S in Data Engineers
Ну и конечно всё это умножается на количество запусков и время работы.
источник

ЕГ

Евгений Глотов... in Data Engineers
Да ты так скоро на бэр метал перейдёшь😆
источник