ПФ
Штука в том, что это решается на кодогенерации и отлично работает в джаве
Size: a a a
2019 August 06
ПФ
Причём существует вроде много лет - например metadata api в jpa
ПФ
Более того, слик работает очень похоже
K
это не решается кодогенерацией потому что компилятор ничего не знает о том, как данные хранятся, и их сруктуре, а каталист знает
ПФ
А датасеты по факту просто ничем не отличаются от датафреймов
m
разве они не структурированы?
ПФ
это не решается кодогенерацией потому что компилятор ничего не знает о том, как данные хранятся, и их сруктуре, а каталист знает
Компилятор знает всё про твои case классы
m
или это я с рдд путаю?
ПФ
или это я с рдд путаю?
Похоже что с rdd
K
Компилятор знает всё про твои case классы
но он не знает ничего про вышеописанное
K
а спарк знает
K
и строит логический и физический план запроса
K
и оптимизирует доступ к данным
ПФ
но он не знает ничего про вышеописанное
Поскольку любой Спарк запрос можно описать со spark sql - надо на основании данных просто сгенерировать правильную строку
K
кодогенерацией этот вопрос не решить
ПФ
То есть надо нагенерировать кастомных классов поверх case, у которых будут sql методы
ПФ
кодогенерацией этот вопрос не решить
Посмотри как работает jooq
ПФ
Причём в джаве нет макросов, там кодогенерация генерирует и домен сразу
ПФ
С помощью apt
K
jooq молодец, но мы говорим про распредленные вычисления над различными форматами данных, в различных стороджах, под разный типы вычислений