дяденьки, здравствуйте!
подскажите, как быть в такой ситуации:
- есть Спарк-джоба, вычитывающая перекошенные данные
- по завершению вычитки нужно подсчитать общее кол-во строк и записать в HDFS
- при этом хочется отпустить ресурсы для уже отработавших экзекуторов, но они не могут де-аллоцироваться - так как в них закешированы данные датафрейма

нечо вроде:
val skewedDF = spark.read.format("пыщь-пыщь").load()
skewedDF.persist()
val cnt = skewedDF.count()
skewedDF.write.parquet("фьють-фьють")
skewedDF.unpersist()

как-то иначе count считать? аккумулятором каким-нибудь?

дяденьки, здравствуйте!
подскажите, как быть в такой ситуации:
- есть Спарк-джоба, вычитывающая перекошенные данные
- по завершению вычитки нужно подсчитать общее кол-во строк и записать в HDFS
- при этом хочется отпустить ресурсы для уже отработавших экзекуторов, но они не могут де-аллоцироваться - так как в них закешированы данные датафрейма

нечо вроде:
val skewedDF = spark.read.format("пыщь-пыщь").load()
skewedDF.persist()
val cnt = skewedDF.count()
skewedDF.write.parquet("фьють-фьють")
skewedDF.unpersist()

как-то иначе count считать? аккумулятором каким-нибудь?

стоит вообще изучать mdx, насколько распространен сейчас этот язык запросов?

стоит вообще изучать mdx, насколько распространен сейчас этот язык запросов?

Вот кстати да. Не хватает прозрачности какой то что-ли. Ну записал он данные, а сколько строк, какой объем? По идее, эти данные ведь доступны в спарк уй после завершения джобы может их можно как то через доступный интерфейс выдрать.

А через петон туда присосаться можно?

хз, наверно, есть пример для скалы ток:

var outputWritten = 0L
    spark.sparkContext.addSparkListener(new SparkListener() {
      override def onTaskEnd(taskEnd: SparkListenerTaskEnd) {
        val metrics = taskEnd.taskMetrics
        outputWritten += metrics.outputMetrics.recordsWritten
      }
    })

на работе всем выдают

Сами рисуем