с 1 запустить

Вы используете опцию used_ram_limit ?

Когда вы обучаете модель, Катбуст пишет accuracy на момент обучения, стараясь при этом не переобучаться. Если вы после этого запускаете accuracy_score на том же самом датасете, на котором тренировались, то Катбуст не знает, что это тот самый датасет, на котором он обучался, поэтому просто делает предсказания, как есть. Поэтому эти числа могут не совпадать. Сравнивайте скор на валидации, а не на train сете. Если я, конечно, правильно понял ваш вопрос 🙂

Нет, видимо придется попробовать, спасибо

То что на последнем этапе может быть резкий рост потребления памяти это ожидаемо, на последнем этапе довольно ресурсоемкий по памяти расчет счетчиков для сохранения в модель

ясно спасибо. Попробую либо used_ram_limit, либо более мощную машину.

На трейне действительно может быть другая метрика. Но это происходит если есть катфичи. Тогда во время обучения на катфичах считаются счетчики по перестановке, а при применении счетчики по всему трейну. Поэтому при обучении на трейне метрика может быть хуже, чем при применении.
Тут другая ситуация, тут при применении хуже. Во время обучения считается метрика с учетом весов. А при применении без весов.

Скорее всего разница из-за этого

Чтобы считать метрику без весов, нужно написать у метрики параметр use_weights=false

Возможно мы поменяем дефолт для Accuracy и будем ее по умолчанию невзвешенную считать.

да определенно влияют веса а как наоборот применить на валидаторе с весами ? print("Правильность на контрольной выборке: {:.2f}".format(model.score(X_valid, y_valid, use_weights=true ))) ?

можно использовать функцию eval_metrics

Померяю через vtune и расскажу

если одно число хочется, то в параметры надо передать, чтобы только на последней итерации посчиталась

model.fit(
     X_train, y_train,
     cat_features=categorical_features_indices,
     eval_set=(X_valid, y_valid),
     use_best_model=True, use_weights=true,
     plot=True
)

тут есть примеры

пасиб

Хотя странно почему при применении считает без весов model.fit(
     X_train, y_train,
     cat_features=categorical_features_indices,
     eval_set=(X_valid, y_valid),
     use_best_model=True,
     plot=True
) а в  model указаны веса код выше указал по идее Catboost здесь должен веса на валидаторе применить eval_set=(X_valid, y_valid) .... хмхмхмх?

При применении при помощи score веса не считаются, потому что это стандартное поведение функции score, стандартное поведение функции ломать не хочется.