ПФ
Ну вот все и делают на датафреймах и принимают его динамическую природу
ну и вот это только до тех пор пока не сделали нормальную обёртку
Size: a a a
2019 August 06
ПФ
то что я не могу её сделать и то что её нет — говорит только о неготовности
K
ну и вот это только до тех пор пока не сделали нормальную обёртку
Ее уже сделали и в планах другой не придвится
GP
думается мне это значит что я онлайн )
AZ
С БД надо работать с помощью SQL
Только не это
GP
я к тому, что не присылай видео
ПФ
Ее уже сделали и в планах другой не придвится
Ещё раз — она достаточно убогая. Надеюсь что через время какой-нить из инструментов добьют до рабочего состояния
ПФ
я к тому, что не присылай видео
Я не умею писать видео в телеграме на десктопе под линуксом…
K
Ещё раз — она достаточно убогая. Надеюсь что через время какой-нить из инструментов добьют до рабочего состояния
Да нормальная она
ПФ
Да нормальная она
нет
ПФ
Ща пришлю пример
ПФ
val zlogMaxed = zlВот для этого пришлось приделать два кейс-класса с энкодерами
.groupByKey(z => Grouping(z.cc, z.p, z.u))
.reduceGroups((a, b) => if (a.ci - b.ci >= 0) a else b)
.map {
case (grouping, flat) =>
N(
grouping.cc,
grouping.p,
grouping.u,
flat.ci,
flat.di,
flat.a
)
}
ПФ
Grouping и N
ПФ
и это один крошечный запрос без джойнов, без всего
AZ
val zlogMaxed = zlВот для этого пришлось приделать два кейс-класса с энкодерами
.groupByKey(z => Grouping(z.cc, z.p, z.u))
.reduceGroups((a, b) => if (a.ci - b.ci >= 0) a else b)
.map {
case (grouping, flat) =>
N(
grouping.cc,
grouping.p,
grouping.u,
flat.ci,
flat.di,
flat.a
)
}
А у вас точно функция в reduceGroups коммутативная?
GP
val zlogMaxed = zlВот для этого пришлось приделать два кейс-класса с энкодерами
.groupByKey(z => Grouping(z.cc, z.p, z.u))
.reduceGroups((a, b) => if (a.ci - b.ci >= 0) a else b)
.map {
case (grouping, flat) =>
N(
grouping.cc,
grouping.p,
grouping.u,
flat.ci,
flat.di,
flat.a
)
}
послушай а точно с таплами проблема есть?
GP
все автоматически выводится для таплов я посмотрел код
GP
// это прям в спарк шелл
scala> val data = Array(("a", 1, 2d), ("a", 2, 3d), ("b", 3, 4d), ("b", 4, 5d), ("c", 5, 6d), ("c", 6, 7d), ("e", 0, 0d))
data: Array[(String, Int, Double)] = Array((a,1,2.0), (a,2,3.0), (b,3,4.0), (b,4,5.0), (c,5,6.0), (c,6,7.0), (e,0,0.0))
scala> val rdd = sc.parallelize(data)
rdd: org.apache.spark.rdd.RDD[(String, Int, Double)] = ParallelCollectionRDD[1] at parallelize at <console>:29
scala> val dataset = rdd.toDS()
dataset: org.apache.spark.sql.Dataset[(String, Int, Double)] = [_1: string, _2: int ... 1 more field]
scala> dataset.groupByKey(value => value._1 -> value._2)
res11: org.apache.spark.sql.KeyValueGroupedDataset[(String, Int),(String, Int, Double)] = KeyValueGroupedDataset: [key: [_1: string, _2: int], value: [_1: string, _2: int ... 1 more field(s)]]GP
умеет все работать с таплами само
думаю сатанисты иначе бы в гробу вращались
думаю сатанисты иначе бы в гробу вращались
K
@dartov что сейчас из книжек почитать , подскажите)