T
Size: a a a
2021 July 08
GP
сча гляну
GP
хм я сча запустил такое и работает
GP
```
```
it("timir example") {
import org.apache.spark.sql.Row
import spark.implicits._
val someDF = Seq(
(8, "bat"),(64, "mouse"),(-27, "horse")
).toDF("number", "word")
someDF.foreachPartition { partition: Iterator[Row] => {
partition.foreach(println)
}}
}```
GP
ты случаем не из консоли пускашеь все?
T
Ага
T
Блин сорян
T
Затупил, спасибо большое за подсказку!
GP
ага, репл может иметь свои баги
2021 July 09
KR
Подскажите, в Спарк нельзя так делать?
val update = for {
row: Row <- df
} yield ...
val update = for {
row: Row <- df
} yield ...
KR
Unable to find encoder for row
GP
зависит от того что у тебя в yieldе
GP
скорее всего и правда анкодера какогото найти не омжет
KR
В yield просто row
KR
По идее должен просто вернуть df как есть
KR
Ругается на то, что Row нет в типах поддерживаемых в implicits
Версия Спарк 2.4
Версия Спарк 2.4
GP
ну у тебя же нету Encoder[Row]
GP
не, он ж там у тебя должен будет пересоздать датасет
GP
sc.parallelize(Row(2) :: Nil).toDS() у тебя же работать не будетGP
он просто не будет знать как такой row закодить