SA
Да все верно, хочется aleatoric, epistemic uncertainty для классификации, по типу как это делается в байсовских нейронных сетях.
Size: a a a
2021 May 07
K
по идее если у модели, делающий точечный прогноз, низкое смещение, то можно через бутстрап построить интервал, но если модель сама по себе "стреляет" очень далеко от правды, то тогда и какой-нибудь 95% интервал скорее всего окажется кривым
SA
Я неверно написал. Нужено распределение выдаваемых вероятностей, а не доверительный интервал. В целом наверное можно что-то вручную сделать, если предположить что калибровка catboost хорошо совпадает с вероятностью. Для нейронных сетей можно все организовать через Dropout, и в теории это будет давать необходимое распределение.
K
распределение вероятностей, выдаваемых моделью? Так бутстрап же как раз эту проблему и решит
SA
Да, но что выдает калибровка и насколько random_seed на самом деле random? Это не очень понятно.
K
пост калибровку все равно придется делать. Катбуст как и другие деревянные модели все же скорее "оценки принадлежности" возвращает, а не вероятности в чистом виде
SA
Так то да. Думал может есть какая-то фича в catbooste которая сама все делает.
2021 May 08
AP
Подскажите, пожалуйста, в бинарной классификации какие параметры катбуста имеет смысл потюнить?
КВ
Вопрос слишком общий. В общем случае то же, что и для задачи регрессии. Попробуйте для начала уменьшить learning rate и увеличить количество итераций (деревьев). Измените глубину деревьев. Посмотрите на графики обучения на тесте/трейне, чтобы понять куда копать дальше.
Можете почитать эту страницу https://catboost.ai/docs/concepts/parameter-tuning.html
Можете почитать эту страницу https://catboost.ai/docs/concepts/parameter-tuning.html
AP
Про основные параметры это и так понятно. Просто катбуст принимает больше сотни параметров, большую часть которых даже трогать не стоит, вот и хотел узнать что из практики чаще всего работает.
AP
AU
Полный аналог RMSEWithUncertainty для классификации - это predict_proba. Вам либо это, либо вы неправильно применяете это в регрессии.
2021 May 10
TB
@kizill ? Планируется допилить CatBoostRegressor?
AY
Так вроде давно работает регрессор с текстовыми фичами
TB
В том то и дело, что нет) пишет, что нет таких параметров. И в доке их, кстати, тоже нет.
AY
Текстовые это ведь категориальные
В регрессор надо передать список колонок с категориальными фичами
Вот например https://github.com/format37/1c_ml_regression_diagnostics/blob/master/cgi-bin/server.py
В регрессор надо передать список колонок с категориальными фичами
Вот например https://github.com/format37/1c_ml_regression_diagnostics/blob/master/cgi-bin/server.py
TB
Нет, текстовые это текстовые. text_features, как в классификаторе
2021 May 12
RN
Добрый день! Планируется ли добавление инференса модели с embeding фичами в c_api?
2021 May 14
W(
Подскажите в чем может быть дело.
Если передаю свой сплиттер, то кроссвалидация уходит в себя и не возвращается.
Дебаг и логи юпитера молчат.
Pool на 4 миллиона объектов, 73 фичи из них 22 Categ, + group_id, + auxilary колонки.
Если сам вызову
Если передаю свой сплиттер, то кроссвалидация уходит в себя и не возвращается.
Дебаг и логи юпитера молчат.
Pool на 4 миллиона объектов, 73 фичи из них 22 Categ, + group_id, + auxilary колонки.
Если сам вызову
spliter.split(X, y, groups), то все прекрасно работает.W(
Проверил на амазоновском датасете из
cv_tutorial.ipynb, там сделал group_id колонку MGR_ID и кроссвалидация нормально работает