Телеграмм чат группы datasciencecourse страница 4776

всем привет! ситуация такая: при бинарной классификации roc auc (классы почти равны) странное дело - на всем объеме 0.69, а при кросс-валидации на 5 фолдов по 0.75. не подскажете, в чем может быть дело? когда наоборот понятно, а такое?

вроде въехал. на будущее, если кто по чату будет искать: если верно понимаю (поправьте, пжл, если ошибаюсь), то roc_auc_score ожидает на вход predict_proba, а не готовый ответ. тогда как cross_val_score считает вероятность сам при scoring='roc_auc'. опираюсь на это из SO: https://stackoverflow.com/questions/22318922/scikit-learn-roc-auc-score-returns-accuracy-values и да, мою проблему решило полностью.

Stack Overflow

scikit-learn roc_auc_score() returns accuracy values

I am trying to compute area under the ROC curve using sklearn.metrics.roc_auc_score using the following method:

roc_auc = sklearn.metrics.roc_auc_score(actual, predicted)
where actual is a binary

источник

20:26пожаловаться #5

Sergey Salnikov in Machine learning

надо predict_proba, а не predict

источник

20:26пожаловаться #6

Sergey Salnikov in Machine learning

упс, опередил

источник

20:27пожаловаться #7

Dennis Lisitsin in Machine learning

Sergey Salnikov

надо predict_proba, а не predict

да, спасибо! я прозрел наконец)

источник

20:27пожаловаться #8

Dmitry Penzar in Machine learning

Sergey Salnikov

упс, опередил

А, кек. Кстати да, частая ошипка

источник

21:23пожаловаться #9

Sergey Salnikov in Machine learning

ну не знаю, имхо задач классификации больше, я уже привык по-дефолту использовать predict_proba, иногда удивляюсь, когда его нет (например у LinearSVC), приходится извращаться

источник

21:24пожаловаться #10

Dmitry Penzar in Machine learning

Dennis Lisitsin

Stack Overflow

scikit-learn roc_auc_score() returns accuracy values

I am trying to compute area under the ROC curve using sklearn.metrics.roc_auc_score using the following method:

roc_auc = sklearn.metrics.roc_auc_score(actual, predicted)
where actual is a binary

Roc auc score ожидает на вход любой скор 1го класса (например, svm decision function тоже подойдет). И если передать туда 0 и 1 он тоже все посчитает, ибо это нормальный скор

источник

21:25пожаловаться #11

Dmitry Penzar in Machine learning

Ну вот у svc спокойно decision function заходит

источник

21:25пожаловаться #12

Sergey Salnikov in Machine learning

да, потом сверху иногда softmax-ом полернуть

источник

21:25пожаловаться #13

Dmitry Penzar in Machine learning

Ну либо делать плат скейлинг, который дорог и нафиг

источник

21:26пожаловаться #14

2021 February 11

Sihjil in Machine learning

Dmitry

Странно. Я сдал со второго раза, и то только потому, что не заметил, что 6 файл с ответом не загрузился, минут 40 убил на чтение форума и перепроверку, а потом дошло где проблема)

Я уже несколько дней не пойму, где ошибаюсь. Рекомендации учёл, но допускаю, что в параметрах не все верно выставляю в GridSearchCV

источник

02:13пожаловаться #15

K-S in Machine learning

Dmitry Penzar

Ну либо делать плат скейлинг, который дорог и нафиг

почему дорог? Обычная ведь логистическая регрессия

источник

02:17пожаловаться #16

Dmitry Penzar in Machine learning

K-S

почему дорог? Обычная ведь логистическая регрессия

Ну ее надо кроссвалидировать

источник

07:55пожаловаться #17

Dmitry Penzar in Machine learning

Иначе тупо переобучится. Потому условный SVC, который и сам по себе не быстрый, замедляется в число фолдов раз

источник

08:07пожаловаться #18

Dmitry Penzar in Machine learning

Просто же фигачить на это сигмоиду/софтмакс нельзя, ибо нет никакой гарантии, что вероятности не станут маппиться криво. К примеру, в сигмоиде 0му скору должна соответствовать ситуация : классификатор вообще не знает, к какому классу это относится. Чтобы получалось 0.5. А в svm-loss нет никакого требования на центрированность скоров около 0

источник

08:16пожаловаться #19

АК

Алина Коробчук... in Machine learning

Здравствуйте! Посоветуйте пожалуйста курс чисто по Python хороший, можно и платный. С направлением анализ данных

источник

08:41пожаловаться #20