Спасибо почекаю ) узнал что есть ещё nifi и streamsets)

https://databricks.com/blog/2021/10/04/pandas-api-on-upcoming-apache-spark-3-2.html

уии

А есть тут кто с HDInsigth знакомый ? как это вообще думано что работает ? если у меня hive, spark, mr то я так понял они настоятельно рекомендуют поднимать 3 разных кластера, заточенных на нужную нагрузку. ок, тогда нужен некий общий сторидж. они вроде говорят что adls gen2 наиболее быстр и близок к hdfs. гуд, пытаюсь поднять Hadoop кластер с adls gen2 как primary storage + adls gen2 как secondary storage, котрый будет общий на все типы кластеров - не работает, говорит " is not supported for accounts that have enabled hierarchical namespace (Azure Data Lake Storage Gen2)", хотя в доке указано, что это валидная комбинация. точно так же не работает 1 adls gen2 и каждый кластер в своей папочке, хотя есть статья расписывающая как это класно работает.
и индусы супорта уже неделю голову морочат.

Я поднимал некоторое время назад, но кажется с другим сторожем :(

а на том другом сторидже были фолдеры, как у обычной файловой системы ?

Мне кажется фолдеры есть вообще у любых сторожей. Обычно эмулированные, but who cares. Мы в big data tools даже не даём возможности работать с файлами, имя которых заканчивается на /

я подозреваю что будут приключения,  т.к. у нас тонны кода который hdfs папки туда сюда двигает.

Ну надо провести простой эксперимент, кажется

индусы все продумали до мелочей, хрен проведешь без IAM грантов

Товарищи, помогите неофиту:

Что там за None?

Что-то да... Вроде, и гуглил. Спасибо и прошу прощения)

Ребята, привет! Формируем набор компетенций по SAP Data Intelligence. Если кому-то тема близка или уже работали с продуктом, буду благодарна за отклик ) https://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82:SAP_Data_Intelligence

Что значит "формируем набор компетенций"?

это замен sap ds инструмент интеграции или более широкое чтото?

Не могу оценить на сколько заменяет или нет SAP DS ) Это комплексный продукт. В нем есть элементы обработки данных, обучения моделей. Часть от компетенций Data Engineer часть от Data Scientist. Но первый опыт внедрений показывает, что продукт может оперативно решать бизнес задачу заказчика (ввели новые данные, быстро перестроили процесс, переобучили модели)