use_best_model, при чем если eval_set есть, параметр по умолчанию True

То есть датасет всё равно вручную делить, нельзя чтоб во время обучения разбивался на фолды?

можно использовать https://catboost.ai/docs/concepts/python-reference_cv.html

Так я про это и в начале спросил)) Это только валидирует, но для обучение как вытащить не знаю

наверное, для предсказания, а не обучения. если сразу несколько, то вероятно только самостоятельно зафиксировав параметры где лучшее среднее и Std, как тут работает use_best_model не раскрывается

Спасибо! Думал существуют методы сделать проще

text_clf = Pipeline([
                    ('tfidf', TfidfVectorizer()),
                    ('clf', RandomForestClassifier(n_estimators=100))
                    ])

model = text_clf.fit(train, train_labels)

подскажите в catboost можно также просто преоброзовыват данные ?

или нужно руками преоброзовывать и подсовывать в cat_features

Определите по CV лучшую итерацию и сделайте фит модели с этой итерацией

на мой взгляд так себе идея использовать деревянные методы для анализа текста, сделайте хотябы свертку SVD для вашего случая

люто плюсую.
лемматизация, TfIdf и линейная модель. Не надо деревья, им глубина понадобится безумная

Так он же еще разделяет выборку. Надо это же разделени и итерацию тогда

А подскажите в какую сторону копать, RandomForestClassifier accuracy_score=0.994 предсказывает в моем случае лучше, чем GradientBoostingClassifier accuracy_score=0.972, с чем это может быть связано?

Вообще хорошо б теоретическое обоснование услышать в ответе на ваш вопрос.

Штука действительно интересная. Подобная тема уже проскакивала у Дьяконова в статье, посвящённой случайному лесу. Там вроде бы по касательной был затронут вопрос, в 100 ли случаях из 100 бустинг на деревьях обойдёт случайный лес или нет. Кто-то даже приводил в качестве примера какие-то старые соревнования на каггле, где лес действительно выигрывал.

А ошибки в валидации точно нет? Приведённые вами показатели - это ведь результаты по CV, я верно понял?

Нет это не cv

Код я скриншотил выше

Я просто разбил выборку

Я новичек и сделал все примитивно