SS
“udf можно и в вашем скрипте зарегистрировать” - можно пример?
Size: a a a
2021 December 02
k
в скале + - то же самое. если есть возможность выбора - лучше выбирать скалу, на ней удф лучше работают по многим причинам
ЕГ
Вот это норм решение
ЕГ
Делал такое по диплому до того, как это вписали в геоспарк)
ЕГ
И потом ещё раз в немножко спарк датафреймов
ЕГ
Только есть проблема, что соседи по координатам не обязательно будут в одном id
ЕГ
И надо делать explode соседних клеточек
D
вероятно это то, что нужно http://datafu.apache.org/docs/spark/guide.html функция joinWithRange
SS
а если у меня нет доступа к Spark DSL, только Spark SQL через ODBC/JDBC?
UD
а кто-нибудь уже затащил у себя push based шафлер в спарке?
DZ
Можно линк
DZ
Если коротко, типа блоки мерджатся и сокращают random read io?
UD
Да
UD
Правда не только рид
UD
Обычный шафлер выносит шпиндели по случаной записи мелкими блоками
UD
типа десятки килобайт
UD
И еще статейка линка
