N
По-моему для спарка пытались какой-то апи на крестах придумать, но эта идея не увенчалась успехом.
Size: a a a
2021 July 08
NN
Да его вроде даже и придумали ребята из Майкрософт, даже репа есть
АК
Даже есть и даже работает. И в MS Azure Synapce отлично на C# работает. Сам пробовал. Вопрос в другом как к файловой системе обратиться из программы C# работающей на другой машине.
T
Привет, а кто нибудь знает обход этого бага https://issues.apache.org/jira/browse/SPARK-32051 ?
T
foreachPartition не работает в spark3 scala 12
T
Точнее не компилится
GP
типы явно указывай
T
типа partition :org.apache.spark.api.java.function.ForeachPartitionFunction[org.apache.spark.sql.Row] ?
GP
неееее
GP
.foreachPartition { case partition: Iterator[Row] => … }GP
может без кейса кстати скала 2.12 может ругнуться на это
GP
.foreachPartition { partition: Iterator[Row] => … }T
а как мне потом у partition map вызвать?
GP
так и вызывай)
GP
T
А все там надо в конце я вно Unit вернуть
GP
а точно это форич
GP
ну сделай форич
GP
partition.foreach { }
GP
мап там и правда не пойдет т.к. тебе надо триггернуть вычисление