VE
а, тогда понятно, SHAP для мультикласса считаются неправильно (и на CPU, и на GPU)
Size: a a a
2019 January 23
MK
а будет правильно?)
VE
починим
MK
спасибо)
VE
в мультиклассе вероятность последнего класса однозначно определяется через предыдущий, GPU это использует для ускорения обучения
и у него в итоге «сырые» предсказания ноль на последнем класcе
и у него в итоге «сырые» предсказания ноль на последнем класcе
VE
а в shap про это забыли
VE
если обучать MultiClassOneVsAll, то должен корректно считать
MK
да кстати, раньше замечал что один класс будто отбрасывается, вероятности для него всегда близкие к нулю были
VE
на GPU всегда ноль. в случае multiclass функции ошибки. надо смотреть на вероятности после софтмакса, а не сырые, чтобы отличались. (аналогично как в бинарной классификации первый класс вычисляется через сырое предсказание нулевого)
MK
да я вроде не на сырыю смотрел, predict_proba же это софтмакс?
VE
predict_proba уже должен нормально работать
MK
а что вобще предпочтительней использовать MultiClass или MultiClassOneVsAll? я заметил что первый намного лучше Logloss дает чем второй
MK
хотя сейчас запустил ситуация иная, вобщем суть в том что разница в показаниях качества большая
VE
зависит от задачи и метрик, которая нужна
oneVsAll это обычный one-vs-all, где обучаются бинарные классификаторы один против всех, но в катбусте будет одинаковая структура дерева, отличаться будут листья
MultiClass обучает logloss с softmax’ом для определения вероятностей
logloss у multiclass будет лучше, потому что он его и оптимизирует
а вот другие метрики не факт
oneVsAll это обычный one-vs-all, где обучаются бинарные классификаторы один против всех, но в катбусте будет одинаковая структура дерева, отличаться будут листья
MultiClass обучает logloss с softmax’ом для определения вероятностей
logloss у multiclass будет лучше, потому что он его и оптимизирует
а вот другие метрики не факт
MK
вобщем если нужны вероятности а не классы то надо обучать MultiClass
VE
ага
MK
а когда примерно shap values пофиксите в следующем релизе стоит ждать?)
VE
постараемся
VE
точнее так: в мажорном то поправим, а в минорном зависит от того, когда и из-за чего его будем делать
2019 January 24
Аa
А как у catboost с интерпретируемостью? У меня вот регрессия в отном месте стабильно даёт странный и неожиданный результат. И мне хочется понять, откуда оно такое берётся. Есть такая возможность?