У тебя задача регрессии, как я понимаю?

да, задача регрессии

нужно сделать ее более устойчивой к выбросам или наоборот?

хочу чтобы модель в первую очередь обращала внимание на них

для классификации я веса использовал

наоборот

тогда попробуй Lq loss, надо подобрать только степень которая будет жечь в твоем случае

спасибо

А другие метрики типа numErrors

Quantile и expectile не подойдут в этом случае?

это зависит от твоей задачи

если ты хочешь научиться предсказывать квантили - то да, тебе нужен квантильный лосс :)

ты про то, чтоб предсказывать 99 квантиль?

можно попробовать

Да, хотелось бы повысить вероятность его предсказани

А еще один вопрос. Насколько тюнинг гиперпараметров способен улучшить качество предсказаний. Есть какой-то порядок цифр?

как хорошо катбуст работает с времянными рядами?

Деревянные методы не экстраполируют, поэтому ряд нужно дифференцировать, чтобы сделать его стационарным

Всем привет!
Помогите, пожалуйста, со спарком)
Используя almond, с версией scala 2.12, spark 2.4.7, catboost-spark 0.25-rc3 и spark-mllib 2.4.0/ 3.1.0, пытаюсь получить предсказания, используя метод .predict, от модели обученной на питоне с категориальными признаками (их было два) по приложенному коду, в консоли получаю ошибку

WARNING: All illegal access operations will be denied in a future release
uncaught exception:
    address -> 0x10710b400
    what() -> "catboost/libs/model/cpu/formula_evaluator.cpp:641: insufficient cat features vector size: 0 expected: 2"
    type -> TCatBoostException

При обучении модели на тех же данных, без добавления категориальных фич, предикт на spark получаю успешно

модель сохранял так

model.save_model("cool_model2.cbm",
           format="cbm",
           export_parameters=None,
           pool=train_pool)

с добавлением train_pool и без него

Вопрос: как получать предикты для данных с кат фичами в спарке?

В изменениях у версии 0.25-rc3 Categorical features support

Только что сделал тюнинг при помощи hyperopt и стало хуже чем на default

значит плохое пространство параметров указали 🙂