Можно забутстрапить, и посмотреть на распределение. Если оно явно ненормально перекошенное, то это может быть доводом в пользу теории. Еще, развивая идею ресемплинга, можно по ним посчитать корреляцию (присутствие примера) vs (итоговые метрики).
Из конкретно катбустовых, где-то в районе feature importance могли лежать аналогичные оценки для сэмплов, тут я точно не помню и не сориентирую.

> Из конкретно катбустовых, где-то в районе feature importance могли лежать аналогичные оценки для сэмплов

https://catboost.ai/docs/concepts/python-reference_catboost_get_object_importance.html

Кейс: очень маленький датасет (на 800 объектов). Задача бинарной классификации. При перемене random_state СИЛЬНО скачат метрики, зафиксированны перепады до 20 проц при чем roc_auc падает, f1 растет и наоборот. GridSearchCV best score выдает всегда значительно ниже чем последующий best estimator отдельно. Есть гипотеза,  что часть объектов очень полезна для модели и хорошо ее обучает и когда эти оъекты выпадают из train, модель начинает хуже предсказывать. Можно ли как то достоверно проверить это? выявить эти объекты?

А вы делаете стратифицированое разбиение?

Да

Интересная логика. В чем тогда смысл метода cv? Посмотреть телевизор можно, только не включай...)

Интересная логика. В чем тогда смысл метода cv? Посмотреть телевизор можно, только не включай...)

Леша в целом правильно сформулировал, логика - провести кроссвалидацию набора параметров и/или фичей. Если ты просто так будешь подбирать параметры, ты можешь их подобрать для своего текущего разбиения train/test и это может быть не ок. То, что модельки не возвращаются это не концептуальная проблема, не by desing, просто мы не написали код ¯ \ _ (ツ) _ / ¯ Скоро это пофиксится 🙂

@kizill Какая судьба у нового релиза? уж очень хочется эмбединги использовать

🔥🔥🔥