Size: a a a

2020 May 07

NT

Nikolay Tolstov in catboost_ru
Я бы в таких случаях напишисал экспертное дерево для подобных ситуаций, если прям очевидно то я вручную вероятность зануляю. Либо можно попробовать обучить просто 1 дерево, если данные позволят там может будет вероятность 0%
источник

MF

Maxim FromSiberia in catboost_ru
Экспертное дерево - этот вариант никуда не уйдет. Хотелось бы из модели выжать максимум.
Одно дерево может дать 0%. Проблема в том, что оно сильно проигрывает по точности модели CatBoost на тестовых данных.
источник

NT

Nikolay Tolstov in catboost_ru
Можно уменьшить вес 1го класса, используя параметры scale_pos_weight меньше 1 (если так сработает, не пробовал), или class_weights. То все вероятности прижмутся к 0
источник

NT

Nikolay Tolstov in catboost_ru
В этом случае accuracy пострадает (если порог предсказания не поменять), AUC изменииться не должен или не сильно.
источник

NT

Nikolay Tolstov in catboost_ru
+ написать метрику, которая отражала бы задачу и ее максимизировать
источник

NT

Nikolay Tolstov in catboost_ru
иначе как вы узнаете что стало лучше?
источник

MF

Maxim FromSiberia in catboost_ru
Дак в этом и был исходный вопрос. Что это должна быть за метрика и есть ли уже готовая?
источник

MF

Maxim FromSiberia in catboost_ru
источник

MF

Maxim FromSiberia in catboost_ru
Может среди этих уже есть такая.
источник

NT

Nikolay Tolstov in catboost_ru
сомневаюсь
источник

NT

Nikolay Tolstov in catboost_ru
у вас не получится написать эту метрику без истинной вероятности
источник

MF

Maxim FromSiberia in catboost_ru
Можно попытаться приблизиться к желаемому результату. Навскидку: при расчете значения кост функции, если предсказанное значение менее 0.05, то домножаем значение кост функции на 10.
источник

MF

Maxim FromSiberia in catboost_ru
Т.е. сейчас на этапе обучения модель предсказала 50%, в реальности 1. Модель думает "ого, ошиблись аж на 50%". В следующем инстансе модель предсказала 10%, в реальности 0. Модель думает "нормально, ошиблись всего на 10%". А на самом деле вторая ошибка обходится дороже в силу бизнеса.
источник

NT

Nikolay Tolstov in catboost_ru
источник

NT

Nikolay Tolstov in catboost_ru
сверху обычный логлос, снизу похоже то что вам надо
источник

NT

Nikolay Tolstov in catboost_ru
хотя это врятли сработает. Он просто все вероятности будет к 0.5 усреднять
источник

NT

Nikolay Tolstov in catboost_ru
источник

P

Pavel in catboost_ru
Всем привет! Версия катбуста 0.23 и возникает проблема при загрузке модели. Обучаем модель на тестовой либсвм таким образом:
источник

P

Pavel in catboost_ru
при попытке загрузить ошибка следующая
источник

AD

Anna Veronika Dorogu... in catboost_ru
Pavel
при попытке загрузить ошибка следующая
Сделай, пожалуйста, issue на гитхабе
источник