ну потому "но за счет этого повысил качество на том, что знает" - неверно

хм, да, я ошибся. Вы правы.

тогда снова непонятно, почему же точность больше получилась

У вас есть некая истинная точность модели. На генеральной совокупности

Вы ее посчитать не можете, ибо все множество объектов взять не можете - их бесконечно

вы можете, тем не менее, ее оценить

один из способов - оценка на кроссвалидации

второй - оценка на отложенном датасете, в вашем случае X_test

обе эти оценки - случайные величины, они как-то распределены. Что у вас могут эти оценки не совпасть и может оказаться, что одна из них большше другой - вполне нормальное явление

Я как-то даже не задумывался, что это случайные величины. Да, мы получаем на выходе ответ в виде вероятности , но это вероятность же математически вычислена и ее значение должно быть точным...

да нет, в случае с accuracy вы как раз оценку пропорции делаете

у вас вероятность ошибиться алгоритма на генеральной совокупности - p - это число, да

а что вы посчитаете на своей тестовой выборке и тд - уже случайная величина

Простите за , возможно, глупый вопрос - а в чем разница?

в чем именно?

ну вы хотите классифицировать фотографии котиков от некотиков. Если бы вы взяли все возможные фотографии и на них бы оценили свой алгоритм, вы бы получили число p.

А так вы берете только часть этих фотографий - это вносит случайность

Монетка, падающая орлом с вероятностью 0.5 не обязана в любой серии бросков давать равное число орлов и решек

А что есть истинная точность модели ? У нас же конкретные обучающие данные, я понимаю, что обучаем и проверяем на разных данных, но искренне не понимаю что где появляется случайность. Разница только в том, что проверяем на разных вещах, получается только от этого может разница появиться. Случайная величина получается зависимая от тех данных, на которых проверяем , Вы это имели в виду? Как и в примере с монеткой - при разном подбрасывании разное количество орлов, так и тут , на разных данных немного разная точность может получиться, так ?

Тестовые данные, на которых вы оцениваете качество модели - всегда выборка из генеральной совокупности. Потому любая величина, посчитанная на них, в том числе и качество модели, будет случайной величиной.

"Разница только в том, что проверяем на разных вещах, получается только от этого может разница появиться. " - да, при фиксированной обученной модели и процедуре оценки на одних и тех же данных вы получите одно и то же число.

Помогите, пожалуйста, разобраться с ошибкой: уже давно бьюсь