ПФ
Отлично сейчас было )))
Size: a a a
2019 August 06
ПФ
А вот тут мы забываем про то что иногда надо что-то, что не предусмотрено апи и апи становится идеальным
ПФ
Эксплоуд тоже нетипизированный
ПФ
Хотя мог бы!
ПФ
Если идти таким путём - энкодер придётся реально заводить на каждый шаг преобразований
ПФ
А вот в spark sql этого как-то не надо
ПФ
И, блин, на каждом шагу надо работать с нетипизированными колонками
ПФ
Как мы с этим боремся? Заводим object с названием полей!
AZ
Dataset API?
K
И, блин, на каждом шагу надо работать с нетипизированными колонками
Да не нужно с ними работать , нужно описать только case class и в корнер кейсах поставить имена колонок при джойнах, все основное преобразование делается в map
ПФ
Да не нужно с ними работать , нужно описать только case class и в корнер кейсах поставить имена колонок при джойнах, все основное преобразование делается в map
А в agg надо имена колонок использовать?
ПФ
А в sortby?
K
А в agg надо имена колонок использовать?
Я не знаю какие агрегации нужны
K
Возможно можно и групбайкей обойтись
ПФ
Я не знаю какие агрегации нужны
Так вопрос в том, какие он аргумента принимает же
K
А он типизированный
ПФ
По идее когда мы делаем группировку нам некоего три вещи: select, agg и groupBy
ПФ
Если я всё правильно понимаю
K
Или reducebyKey
ПФ
Но может быть можно без select