у них щас там пересменка, cloudbreak запихивают в DPS, и мастер в раздрае

ух, прям так? ну удачи вам

я вчера копалась и не нашла пока более подходящего решения, чем cloudbreak. но может я ошибаюсь. Буду тестировать, вобщем :)

ну то есть вы хотитет поднять полный HDP кластер?

кмк если вам нужен только Атлас (а интересно с каким метастором вы хотите интегрироваться?), я бы посоветовал посмотреть на ванильный HDFS, HBase и Atlas, все остальное не тащить

и кластер будет поменьше, версии можно посвежее

я косо прочитала документацию и поняла, что можно поднять atlas и ranger от хортона и подключать его к dataproc и gcs

наши датаинженеры со спарком вроде хотят коннектить

кмк вы очень оптимистичны, но будет интересно узнать чем закончится)

например как вы подложите хайв серверу джарники рейнджер плагина..

Не знаю пока)

в принципе можно в initialization actions втащить все это

а если не секрет, каких фич в гугловом дата каталоге вам не хватает, что вы выбрали атлас? линедж?

Не знаю, я девопс, а датаинженеры хотят атлас🤷‍♂

Кстати почитаю про дата каталог, спасибо

С разрешения администрации чата - вебинар "Всё о курсе "Data Engineer" 16 августа, в 20.00 (мск)

💥 Предлагаем взглянуть на производительность кластера ClickHouse на AWS EC2 с использованием 36-ядерных процессоров и NVMe-накопителя.

👉🏻 ЧИТАТЬ НА ХАБРЕ

16 августа в 20:00 состоится День Открытых Дверей курса «Data Engineer», где Егор Матешук (Senior Data Engineer в MaximaTelecom) расскажет подробнее об особенностях программы и онлайн-обучения в OTUS. Вы сможете больше узнать о компетенциях, которые получат выпускники курса, и если возникнет вопрос, сможете задать его лично Егору в прямом эфире!

👉🏻 ПОСЕТИТЬ ДЕНЬ ОТКРЫТЫХ ДВЕРЕЙ

хорошая статья кстати, хотя мне привычнее результаты видеть как графики