стоит вообще изучать mdx, насколько распространен сейчас этот язык запросов?

В авито Anchor Modeling. Нет у них по DV ничего. Только сравнение моделей и обоснование почему выбрали AM

AM и  DV очень похожи, не думаю что по началу важно понимать различие между ними. И вот это "Только сравнение моделей и обоснование почему выбрали AM" и есть самое ценное в подобных докладах от тех кто эти подходы внедрял.

не использовал и никого не знаю кому бы он понадобился

в mssql olap кубах знаю используется, больше нигде активного использования не видел

лет 5 назад Cognos отлично справлялся с трансформацией логики drag and drop в mdx запрос

по этому без всякого занния mdx строил достаточно сложные кубы, но после того проекта - ни разу не возвращался к этому

нет, лучше изучите продвинутый SQL и попрактикуйтесь как следует (window functions, recursive queries, temporal, geospatial)

C. J. Date

Спасибо)

Всем привет! а как подружить tez и orc с  bloom filter, пишу спарком, при добалении .option("orc.bloom.filter.columns", "id") в тезе начинают сыпаться ошибки Failed to output to file. java.io.IOException: java.lang.RuntimeException: java.lang.IllegalArgumentException

я указывал в ддл таблицы

stored as orc
tblproperties ("orc.bloom.filter.columns"="material,rt_promo,/bic/client,/bic/card12,", "orc.bloom.filter.fpp"="0.05")

но тогда и писать в таблицу нужно хайвом

А существует ли способ сконкатить большие CSV файлы прямо на S3 и запаковать в gz? Без лямбды*

spark.read.csv, spark.write?

нет, вам нужен компьют какой-то, спарк, афина, просто контейнер с процессом

встроенный компьют в S3 ограничен S3 SELECT, и всякими инвентори/аналитиками и батч операциями (они в основном метаданные правят), все манипуляции делаются через отдельный компьют

Принял, спасибо 👍

Всем добрый день. Кто-нибудь использовал ownCloud для обмена файлами(загрузка, формирование письмо со ссылкой на файл) и при этом использовал python? Если да, то какую либу юзали?

Юзал owncloud в java. У них достаточно простой рест апи.

дяденьки, здравствуйте!
подскажите, как быть в такой ситуации:
- есть Спарк-джоба, вычитывающая перекошенные данные
- по завершению вычитки нужно подсчитать общее кол-во строк и записать в HDFS
- при этом хочется отпустить ресурсы для уже отработавших экзекуторов, но они не могут де-аллоцироваться - так как в них закешированы данные датафрейма

нечо вроде:
val skewedDF = spark.read.format("пыщь-пыщь").load()
skewedDF.persist()
val cnt = skewedDF.count()
skewedDF.write.parquet("фьють-фьють")
skewedDF.unpersist()

как-то иначе count считать? аккумулятором каким-нибудь?