Size: a a a

2019 August 06

ПФ

Паша Финкельштейн in Data Engineers
KrivdaTheTriewe
jooq молодец, но мы говорим про распредленные вычисления над различными форматами данных, в различных стороджах, под разный типы вычислений
А, ты говоришь про общий случай. Я говорю про датасеты
источник

ПФ

Паша Финкельштейн in Data Engineers
Датасеты предполагают очень ограниченный набор операций
источник

K

KrivdaTheTriewe in Data Engineers
главная операция которую они дают это map типизированный
источник

ПФ

Паша Финкельштейн in Data Engineers
Репартишн всякий можно добавить для распределённости
источник

ПФ

Паша Финкельштейн in Data Engineers
KrivdaTheTriewe
главная операция которую они дают это map типизированный
Только вот они не дают селект больше чем на 6 полей типизированный
источник

K

KrivdaTheTriewe in Data Engineers
чего?
источник

ПФ

Паша Финкельштейн in Data Engineers
Посмотри апи
источник

ПФ

Паша Финкельштейн in Data Engineers
Я сегодня попробовал
источник

K

KrivdaTheTriewe in Data Engineers
что именно?
источник

ПФ

Паша Финкельштейн in Data Engineers
И был немало удивлён
источник

ПФ

Паша Финкельштейн in Data Engineers
dataset.select(col(a).as[String], ....)
источник

ПФ

Паша Финкельштейн in Data Engineers
Если внутри селекта будет 6 типизированных колонок - оно вернёт датафрейм, а не типизированный тюплом датасет
источник

K

KrivdaTheTriewe in Data Engineers
ну так не так работают с датасетами
источник

ПФ

Паша Финкельштейн in Data Engineers
После joinWith совсем смешно - он возвращает (Dataset[Row], U)
источник

ПФ

Паша Финкельштейн in Data Engineers
KrivdaTheTriewe
ну так не так работают с датасетами
Но иногда это надо!
источник

K

KrivdaTheTriewe in Data Engineers
ну значит инструмент не правильно используется
источник

ПФ

Паша Финкельштейн in Data Engineers
Аггрегации тоже нетипизированные
источник

K

KrivdaTheTriewe in Data Engineers
да почему не типизированные то
источник

ПФ

Паша Финкельштейн in Data Engineers
Потому что принимают на вход нетипизированные колонки
источник

ПФ

Паша Финкельштейн in Data Engineers
И группировка тоже, кстати
источник