ПФ
И оставлю скорее всего
Size: a a a
2019 August 06
ПФ
Но не трогать и не уметь - разные виды неделания
ПФ
давай примеры, код покажи который скомплиировать можно;
и типы конкретные (можешь синтетический же пример написать чтоб падал и / или работал)
и типы конкретные (можешь синтетический же пример написать чтоб падал и / или работал)
Попробую завтра сделать
ПФ
На сегодня силы закончились
K
Слушай, ну я учусь же. Надо понимать что и как работает. Конечно я всё мог оставить как было
ну я ничего же не говорю
GP
да; просто что бы ты понимал, не очень связанно выглядит то что ты написал; больше как поток мыслей
после истории с анкодерами для таплов и продактов, я бы рекоммендовал более цельно излагать проблему
потому что она и сейчас выглядит размазанно
после истории с анкодерами для таплов и продактов, я бы рекоммендовал более цельно излагать проблему
потому что она и сейчас выглядит размазанно
ПФ
да; просто что бы ты понимал, не очень связанно выглядит то что ты написал; больше как поток мыслей
после истории с анкодерами для таплов и продактов, я бы рекоммендовал более цельно излагать проблему
потому что она и сейчас выглядит размазанно
после истории с анкодерами для таплов и продактов, я бы рекоммендовал более цельно излагать проблему
потому что она и сейчас выглядит размазанно
Хых, понимаю. Ну завтра я глядишь синтетику напишу
AZ
пардон, с повторами или без?
ПФ
пардон, с повторами или без?
Ну в тестах точно без, а в реальности может быть с
AZ
Ну в тестах точно без, а в реальности может быть с
ну без повторов (надо только функцию бинарь починить) в лоб вот как-то так
AZ
case class Customer(custID: Int, segment: String, value: Long)
val ds = Seq(Customer(1, "regular", 1),Customer(2, "regular", 2),Customer(3, "ninja", 1)).toDS()
ds.show()
def topValue(a: Customer, b: Customer): Customer = { if (a.value > b.value) a else b }
val topCustomers = ds.groupByKey(_.segment).reduceGroups(topValue _).map(_._2)
topCustomers.show()
val ds = Seq(Customer(1, "regular", 1),Customer(2, "regular", 2),Customer(3, "ninja", 1)).toDS()
ds.show()
def topValue(a: Customer, b: Customer): Customer = { if (a.value > b.value) a else b }
val topCustomers = ds.groupByKey(_.segment).reduceGroups(topValue _).map(_._2)
topCustomers.show()
GP
case class Customer(custID: Int, segment: String, value: Long)
val ds = Seq(Customer(1, "regular", 1),Customer(2, "regular", 2),Customer(3, "ninja", 1)).toDS()
ds.show()
def topValue(a: Customer, b: Customer): Customer = { if (a.value > b.value) a else b }
val topCustomers = ds.groupByKey(_.segment).reduceGroups(topValue _).map(_._2)
topCustomers.show()
val ds = Seq(Customer(1, "regular", 1),Customer(2, "regular", 2),Customer(3, "ninja", 1)).toDS()
ds.show()
def topValue(a: Customer, b: Customer): Customer = { if (a.value > b.value) a else b }
val topCustomers = ds.groupByKey(_.segment).reduceGroups(topValue _).map(_._2)
topCustomers.show()
topValue может и строки сравнивать; завтра нам синтетику подгонит он; может пока синтетику будет делать разберется в чем делоAZ
ну надо явной функцией написать что вам нужно сравнивать и какие критерии, но в этом и прелесть Dataset API - это будет явная функция, которую можно будет нормально протестировать
GP
+ поэтому @optician_owl упомянул типы конкретные
AZ
и хороший пример typesafe агрегации есть в документации https://spark.apache.org/docs/latest/sql-getting-started.html#type-safe-user-defined-aggregate-functions
OK
всем привет
ПФ
Спрашивали? Отвечаем.
mapGroups работает с итератором. КОторый по определению можно пройти только один раз. Превращаем его в итерэбл и всё работает2019 August 07
GP
Если итератор превращать в лист — то работает всё
Вроде это тут ясно; сложно было догадаться о том что ты в коде делал не смотря в код
ПФ
Вроде это тут ясно; сложно было догадаться о том что ты в коде делал не смотря в код
ну да, видишь, я не понимал какая часть важна. А важна часть с внимательным рассматриванием сигнатуры
Ну и заодно использовать mapGroups вообще плохая идея: он требует шаффла, так что если мжно избежать — лучше избежать. Так что я всё еределал на reduceGroups
Ну и заодно использовать mapGroups вообще плохая идея: он требует шаффла, так что если мжно избежать — лучше избежать. Так что я всё еределал на reduceGroups
RI
Инженеры. Продолжаю свои мучения с spark-phoenix. спарк джоба просто встает на этапе записи в феникс. На другом кластере джоба работает без проблем. Через spark-shell запись в феникс происходит. куда копать?