Ух какой движ. Спасибо за рекомендации.

+---+
|  A|
+---+
|  8|
|  8|
|  2|
|  6|
|  9|
|  7|
|  7|
|  5|
|  7|
|  5|
|  5|
|  0|
+---+

можно попробовать через аккумуляторы как-то так

val acc = sc.longAccumulator
Seq(1,2,3,1,2,3).toDS.distinct().map{e=>acc.add(1);e}.count()

acc.value
res3: Long = 3  .

если аккумулятор апдейтится только на последней стадии (та, что ResultStage, ну или та, после которой больше нет шафлов), то есть гарантия, что он проапдейтится даж единожды

Мужики и девушки, есть вопоос.
Можно же только для одного Spark Application задать Dynamic Resource Allocation ?
без изменения настроек в custom-defaults в Spark ?
(spark.dynamicAllocation.enabled = true
spark.shuffle.service.enabled = true )
тупо в spark-submit передавать и все ? ну и еще указывать диапозоны ресурсов..

Можно

Можно даже в коде поднятия спарк-сессии прописать

окей, понял, спасибо)

Прямиком в спарк-сессию можно что-нибудь типа .config('spark.dynamicAllocation.maxExecutors', '100') прокидывать

Господа, а кто-нибудь дропал партиции в цикле?

спрашивай сразу)

партиции вроде обычно передают списком

но, кажется, в цикли ничего не должно мешать

цикле;

День добрый. Если кто-то работал с EMR подскажите. Ситуация: При инициализации EMR кластера монтирую s3 бакет через s3fs-fuse в систему. Для одного приложения вычитываю csv файлы из вышеупомянутого s3 бакета, через преффикс "s3://" на бакет, для другого "file://" на смонтированную директории. После загрузки одного csv делаю count, columns и партиции проверяю и перехожу к следующему. Так вот параметры count, columns, партиции для обоих вариантов совпадают, вот только чтение через s3:// получается медленнее. (например 3 csv по 100 мб. кластер 4 машинки, для s3:// дают ~34 секунды, для file:// ~24.) Что стоит проверить, вдруг накосячил? (смущает что решение из коробки медленнее чем доп прослойка)

s3a:// пробовал? Интересно s3:// ближе к s3n или s3a :d

S3 latency от запроса к запросу могут иметь оч большую дисперсию.

+ тем более если файлы мелкие

я не один раз запускал) стабильно file быстрее

неа, не проверял.

Ну значит разрабы fuse получше будут)

Я подозреваю они кешируют что-то