AD
поэтому важно просто понимать, что за лосс считается, и откуда такие эффекты
Size: a a a
2019 May 17
AD
если по каким-то причинам хочется другой лосс считать, это всегда можно сделать при помощи функции eval_metrics(train_dataset)
AV
Что интересно, этот эффект у меня проявляется и тогда, когда категориальных признаков нет, cat_features - не задан.
AD
правда интересно, не знаю, почему, может, особенности разбиения... а можешь cv запустить и графики нарисовать тоже?
AV
Да, чуть позже конечно попробую
SK
еще может быть смешной эффект из-за разницы в распределении лейблов 🙂
AV
Регрессия
AV
Временной ряд, трэйн - несколько месяцев в прошлом, тест - последний месяц
AV
cv для временного ряда в catboost можно делать как-то?
AD
time_series_cv пока не поддержали, но ты запусти обычный, просто чтобы посмотреть, как ошибка себя вести будет
2019 May 18
Д
Подскажите, пожалуйста, так и не могу понять разницу между AUC (accuracy) и экспортом 2 столбцов (известный и полученный алгоритмом), результаты разные, хотя на сайте написано, что это одно и тоже
Д
Экспорт и сравнение, если совпадают, то +1 к TPR, если нет, то +1 в FPR
OT
AUC это не accuracy
OT
Глянь статью На хабре метрики в задачах классификации
Д
Посмотрел, ещё учитываются ошибки 2 рода получается
Д
А есть метрика которая показывает сколько верно определили, а сколько нет в бинарной классификации? Т.е. просто сравнивает столбцы
OT
In binary and multiclass classification, this function is equal to the jaccard_similarity_score function. Там про индекс жаккарда написано, что они совпадают
Д
А то на C# сделано, а сравнить не с чем
OT
А есть метрика которая показывает сколько верно определили, а сколько нет в бинарной классификации? Т.е. просто сравнивает столбцы
Это и есть accuracy