VK
В катбусте нет, кажется
Size: a a a
2018 December 29
OO
В катбусте нет, кажется
Ну свою метрику я пока не напишу
А Auc, Logloss или accuracy не очень подойдёт ?
А Auc, Logloss или accuracy не очень подойдёт ?
OO
В катбусте нет, кажется
Просто насколько я знаю , если поставить stratificated =True , то Catboost сбалансирует классы
OO
Кстати метрика Map вылетает
2018 December 30
OO
Получил низкий Precision=0.63 в Catboost . Пока оптимизировать не удаётся. Если ли метод позволяющий оставить только те ситуации, которые можно предсказать с высокой точностью.
Например отфильтровав данные по какому-то критерию или просто вручную экспериментировать нужно ?
Например отфильтровав данные по какому-то критерию или просто вручную экспериментировать нужно ?
OT
Получил низкий Precision=0.63 в Catboost . Пока оптимизировать не удаётся. Если ли метод позволяющий оставить только те ситуации, которые можно предсказать с высокой точностью.
Например отфильтровав данные по какому-то критерию или просто вручную экспериментировать нужно ?
Например отфильтровав данные по какому-то критерию или просто вручную экспериментировать нужно ?
Можно менять порог отнесения к классу и таким образом манипулировать TPR и FPR
OO
Можно менять порог отнесения к классу и таким образом манипулировать TPR и FPR
Как это делается ? А не проще ли смотреть precision ?
OO
У меня в модели precision 0.63 всего . Разве может изменение порога существенно улучшить Модель ?
OT
Как это делается ? А не проще ли смотреть precision ?
Тебе нудно прочитать пару статей: https://habr.com/company/ods/blog/328372/ в этой статье хорошо всё, но там забыли упомянуть как строится ROC кривая
OT
OT
и вот это видео посмотри
OT
У меня в модели precision 0.63 всего . Разве может изменение порога существенно улучшить Модель ?
И да изменение порога может заставить модель выдавать принадленжность к определенному классу только объектам которые с очень высокой вероятностью относятся к этому классу
OO
И да изменение порога может заставить модель выдавать принадленжность к определенному классу только объектам которые с очень высокой вероятностью относятся к этому классу
А не проще установить classweights в качестве параметра ?
OT
А не проще установить classweights в качестве параметра ?
этим не пользовался, не знаю о чем речь
OO
Я не совсем понимаю правильность изменения Границы , ведь я не предсказываю класс, я хочу, чтобы вероятность класса 1 предсказывалась точнее. Вот думаю одно и тоже это или нет
OT
Ну если так, то мне кажется нужно конечно не с границей играться, а может обучаться как-то иначе: например при разбивке на обучающий сет и тестирующий сохранен баланс классов?
OT
попробуй сделать кроссвалидацию и посмотреть какой у тебя средний presicion, возможно у тебя только для конкретной разбивки получились"неудовлетворительные" результаты
OT
Вообще мне кажется стоит смотреть на AUC при оценке модели, он оценивает более адекватно модель и не привязывается к конкретной границе отнесения к классу
OO
Вообще мне кажется стоит смотреть на AUC при оценке модели, он оценивает более адекватно модель и не привязывается к конкретной границе отнесения к классу
Auc в моем случае некорректно будет
Вот сейчас я вычислил при Помощи select_threshold границу для FNR=0.01
Она равна 0.083
Как мне теперь передать ее в Модель ?
Вот сейчас я вычислил при Помощи select_threshold границу для FNR=0.01
Она равна 0.083
Как мне теперь передать ее в Модель ?
OT
Auc в моем случае некорректно будет
Вот сейчас я вычислил при Помощи select_threshold границу для FNR=0.01
Она равна 0.083
Как мне теперь передать ее в Модель ?
Вот сейчас я вычислил при Помощи select_threshold границу для FNR=0.01
Она равна 0.083
Как мне теперь передать ее в Модель ?
когда я этим пользовался я с ходу не нашел и написал свой скриптик надстрйоку над model.predict_proba()