Oℕ
CFunctor[RDD[String], Dummy]
No
CFunctor[RDD, ClassTag]
CFunctor[RDD, ClassTag]
Size: a a a
2020 March 02
ZH
it is literally a ClassTag?
ZH
means word ClassTag
Oℕ
it is literally a ClassTag?
Yes, it's not a placeholder, it's a
https://www.scala-lang.org/api/2.12.10/scala/reflect/ClassTag.html
thing, that is required here
https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD@map[U](f:T=%3EU)(implicitevidence$3:scala.reflect.ClassTag[U]):org.apache.spark.rdd.RDD[U]
https://www.scala-lang.org/api/2.12.10/scala/reflect/ClassTag.html
thing, that is required here
https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD@map[U](f:T=%3EU)(implicitevidence$3:scala.reflect.ClassTag[U]):org.apache.spark.rdd.RDD[U]
ZH
Yes, it's not a placeholder, it's a
https://www.scala-lang.org/api/2.12.10/scala/reflect/ClassTag.html
thing, that is required here
https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD@map[U](f:T=%3EU)(implicitevidence$3:scala.reflect.ClassTag[U]):org.apache.spark.rdd.RDD[U]
https://www.scala-lang.org/api/2.12.10/scala/reflect/ClassTag.html
thing, that is required here
https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD@map[U](f:T=%3EU)(implicitevidence$3:scala.reflect.ClassTag[U]):org.apache.spark.rdd.RDD[U]
Thank you for your help appreciate it will try it and get back with feedback :)
Oℕ
Олег, ответь в соседний чат ему
Oℕ
Firstly, try to ask your question in the different group -> https://t.me/scala_en
@scala_en has proved itself as a failure. Redirecting anyone there is a same thing as rickrolling.
I can't see any harm of using english here on rare occasions.
People with relevant questions can get help, people like me can have some advice on their English use.
I can't see any harm of using english here on rare occasions.
People with relevant questions can get help, people like me can have some advice on their English use.
λ
But you can do:
1. A wrapper for RDD that will accumulate mapping functions and can get back RDD only when you supply a ClassTag
2. Define your own "restricted" or "constrained" version of a functor typeclass. Something like
trait CFunctor[F[_], C[_]]{
def cmap[A, B](fa: F[A])(f : A => B)( implicit ca: C[A], cb: C[B]): F[B]
}
1. A wrapper for RDD that will accumulate mapping functions and can get back RDD only when you supply a ClassTag
2. Define your own "restricted" or "constrained" version of a functor typeclass. Something like
trait CFunctor[F[_], C[_]]{
def cmap[A, B](fa: F[A])(f : A => B)( implicit ca: C[A], cb: C[B]): F[B]
}
Вот бы это в тофу. Плюс CFunctorK
Oℕ
Добрый день скалисты, есть ли способ сгенерить лист файлов рекурсивно внутри resources папки на sbt проекте при компиляции?
Oℕ
Oℕ
Куда копать не подскажете?
Oℕ
Ну я писал автоплагин, который просто получал папку как SettingKey[File] , а потом вычитывал содержимое обычными методами из nio.
Oℕ
Но это всё-таки лучше в @scala_ru задавать
Oℕ
здесь всё-таки место для нубских вопросов, либо обсуждения обучения
Oℕ
API файл джавовский не работает внутри jar
Oℕ
При компиляции ваша папка с ресурсами ещё не jar
Oℕ
Ок, плагин ваш на открытом доступе есть?
Oℕ
или вам нужно из зависимостей ресурсы вытащить?
Oℕ
Ок, плагин ваш на открытом доступе есть?
Нет
Oℕ
Мне кучу xml и json файлов надо вычитать, поэтому нужен лист path ов чтобы как стрим вычитать