Oℕ
Т.к. HANA это не совсем субд, это фактически сервер приложений совмещённый с memory first СУБД
Size: a a a
2021 March 15
T
Дело в том, что руководство старорежимное, знают только perl, makefiles. Кто то им напел об оркестрации с помощью airflow, ну и вот вам ещё одна ветряная мельница.
Мы свое время на велосепедили вокруг дэйта паплайнов получилось дёшево и очень хорошо
Oℕ
В общем, если нужно с барскими данными интегрироваться, нужно просить барских специалистов по интеграции в SAP всё есть
KS
Мы свое время на велосепедили вокруг дэйта паплайнов получилось дёшево и очень хорошо
На базе чего велосипедили?
T
На базе чего велосипедили?
Data pipeline это сервес у Aws такой относительно старый, в купе с лямдами и cloudformation темплейтами даёт очень гибкий функционал
T
Data pipeline это сервес у Aws такой относительно старый, в купе с лямдами и cloudformation темплейтами даёт очень гибкий функционал
Но это уже олдскульный велосепед считается
T
Зато правда очень дешевый
KS
Data pipeline это сервес у Aws такой относительно старый, в купе с лямдами и cloudformation темплейтами даёт очень гибкий функционал
Аа понял теперь
AZ
Дело в том, что руководство старорежимное, знают только perl, makefiles. Кто то им напел об оркестрации с помощью airflow, ну и вот вам ещё одна ветряная мельница.
На мой взгляд у MWAA преимущества перед self-hosted больше энтерпрайзного характера (удобные интеграции с IAM прежде всего); я бы рекомендовал MWAA для миграции легаси с селф-хостед и он-према, ну или если надо быстро, но надежно и секурно, а для своих промышленных пайплайнов мб удобнее иметь решение на serverless стеке (хотя его нужно нормально разрабатывать)
2021 March 16
KS
На мой взгляд у MWAA преимущества перед self-hosted больше энтерпрайзного характера (удобные интеграции с IAM прежде всего); я бы рекомендовал MWAA для миграции легаси с селф-хостед и он-према, ну или если надо быстро, но надежно и секурно, а для своих промышленных пайплайнов мб удобнее иметь решение на serverless стеке (хотя его нужно нормально разрабатывать)
Понятно. Спасибо за информацию.
У нас разработка с нуля и легаси нет, поэтому то меня и беспокоит переход от серверлесс к airflow dags.
У нас разработка с нуля и легаси нет, поэтому то меня и беспокоит переход от серверлесс к airflow dags.
AZ
Self-hosted airflow это, соотвественно, быстро но не так секурно
AZ
Понятно. Спасибо за информацию.
У нас разработка с нуля и легаси нет, поэтому то меня и беспокоит переход от серверлесс к airflow dags.
У нас разработка с нуля и легаси нет, поэтому то меня и беспокоит переход от серверлесс к airflow dags.
Меня бы тоже беспокоил, кмк серверлесс стек идеально подходит для таких задач как решают планировщики, проблема только в том что там нет готовых решений и надо пилить всю логику планирования самим
AZ
Хотя зависит от того сколько воркфлоу, кто их пишет, как часто меняются
АР
ПБ
Логично hdfs устарел, даешь s3
AB
Логично hdfs устарел, даешь s3
ну в РФ все раавно оч много крупных решений на хадуповских сборках он премис еще
AB
такой меинстрим))
AS
ну в РФ все раавно оч много крупных решений на хадуповских сборках он премис еще
а некоторые совсем не в восторге от minio и т.д., так что в местных реалиях он еще поживет
AZ
а некоторые совсем не в восторге от minio и т.д., так что в местных реалиях он еще поживет
у озона архитектура сильно лучше минио
AS
у озона архитектура сильно лучше минио
не спорю т.к. не знаю чем они архитектурно отличаются, вопрос про молодость технологий, они вроде только прошлой осенью зарелизись