Т.е. метрика должна показывать не просто точности, а фин. показатель. Тоесть надо в функцию внутри класса матрики
def get_final_error(self, error, weight) кроме этих перменных еще добавить переменную money_loss, которая сама в обучении не учавствует

А в чем проблема?

Проблема в том что бы придумать такую метрику или имлементировать ?

Имплементировать

Возьмём простейший случай. Бинарная классификация, для каждого объекта есть информация о прибыли. Она может быть положительной для положительного класса или отрицательной для отрицательного. Нужно сделать метрику для подсчёта прибыли в бинарной классификации чтобы ее использовать в eval_metric

А для мисметча просто 0? Тогда что мешает посчитать прибыль, учитывая только угаданные классы и просуммировать их?

В функцию метрики же передаются два вектора true и predicted, и можешь делать с ними что хочешь

Главное что бы на выходе было одно число

Для мисметча положительного класса прибыль вычитается, и для отрицательного тоже плюсуется (но она со знаком минус)

Ну ок, просто эту логику в функции прописываешь

Просто для этого нужен ещё один параметр, который должен быть либо в Х либо в у, как его туда положить чтобы не сломать? Или откуда брать информацию о прибыли?

Я только не помню как в catboost, но в light GBM , помимо значения метрики нужно вернуть, true или false, в зависимости нужно ли что бы метрика росла или падала

Можешь в саму функцию метрики зашить, не?

Ну да, а как в эту функцию  передавать?

Из глобальной переменной?

Ну да, только не знаю примет ли catboost ,метрику с больше чем 2 параметрами. В любом случае можешь захардкодить эти значения в функции

Можно staged_predict вызвать и посчитать отдельно

Спасибо за помощь, буду пробовать

@annaveronika Еще такой вопрос. Можно ли как-то сделать чтобы predict_proba всегда возвращал нормализованный ответ внутри модели от 0 до 100?
Сейчас можно менять среднуюю вероятность с помощью веса классов

Мы ищем в команду ML тулзов Яндекса (CatBoost как раз мы делаем в этой команде) менеджера:
https://yandex.ru/jobs/vacancies/proj_man/pm_ml_tools/.

Мы ищем человека, который:
- Любит и знает ML
- Хочет и умеет общаться с людьми, выступать, писать посты, ездить на конференции по машинном обучению.

Основными задачами менеджера являются:
- Продвижение наших мл инструментов в мире.
- Построение стратегии развития мл инструментов.
- Развитие платформы рекомендаций Яндекса, а также все остальных библиотек машинного обучения, которые у нас используются.

Для успешной работы будет необходимо понимать, как работают все наши инструменты, а также кто и как их использует.

Москва, 150-300к gross
Отзывайтесь на вакансию, мы вас ждем!