A
по грубым прикидкам там 64ms на модель/row получается, много это или мало хз =) я не датасатанист
Size: a a a
2022 February 03
DZ
мож там модель поднимается на каждую строку
MD
k
попробуйте вместо udf использовать mapPartitions, если у вас первый вызов модели дорогой
k
+ есть немаленькие шансы, что в udf при каждом вызове что-то долго создается
k
может, уткнулись в non serializable, и запихнули всю инициализацию в udf
A
примерно выглядит вот так val predictor = Predictor.loadPredictor(cfg)
val udfPredict = udf((x: String) => {
val values = x.split("#").map(_.toFloat)
val matrix = new DMatrix(values, 1, values.length)
predictor.predict(matrix)(0)(0)
})
val udfPredict = udf((x: String) => {
val values = x.split("#").map(_.toFloat)
val matrix = new DMatrix(values, 1, values.length)
predictor.predict(matrix)(0)(0)
})
MD
Ну да, я бы начал с map partition в вашем случае
MD
Не так красиво, как юдф, но очень эффективно
A
попробую)
MD
Возвращайтесь с потом результатом, интересно же)
A
окей)
k
мне кажется, это можно разбить на несколько функций, и последовательно их вызвать
PL
сразу вопрос - в каждой udf у вас split строки
k
и с mapPartitions лучше loadPredictor запихнуть внутрь вызываемой функции, а "снаружи" подавать только конфиг
PL
да и создание матрицы...
k
сколько элементов получается обычно после split?
A
зависит от модели, от 8-40 где-то
k
т. е. есть нечто, происходящее до udf, которое создает строки с #?
A
да, поскольку 1 скрипт должен обрабатывать разные модели