Делаю кросс-валидацию и потом с теми же параметрами обучаю модельку:

parameters = {
    'eval_metric': 'MultiClass',
    'iterations': 5000,
    'metric_period': 100,
    'loss_function': 'MultiClass',
    'l2_leaf_reg': 30,
    'random_seed': 0,
    'custom_metric': ['F1', 'Recall' ]
}
scores = cv(P_full,
            params=parameters,
            stratified=True,
            fold_count=3
            )

scores.to_csv('catboost_score.csv')

model = CatBoostClassifier(**parameters)
model.fit(P_full)

Catboost понаписал всякого в каталог catboost_info и я хочу это теперь в ноутбучике визуализировать.

import catboost
w = catboost.MetricVisualizer('catboost_info/', subdirs=False)
w.start()

Рисует только кривую обучения модельки.
w = catboost.MetricVisualizer('catboost_info/', subdirs=True) задумывается надолго.

Как корректно нарисовать график для кросс-валидации, типа такого?

Всем привет! а CV можно прогнать сразу по набору eval_metric ?  К примеру метрика качества  у меня RMSE, но хочу посчитать еще MAPE и MAE.

пока что никак, если интересна такая функциональность, лучше сделать issue на гитхабе, чтобы не забылось

да, custom_metric параметр надо использовать

Всем привет, а в randomized_search catboost-а - есть прунинг по дефолту? (откидывает бесперспективное обучение через N итераций)

Пока что не делали

Надо бы, но пока что не занимались этим. Сделай issue на гитхабе, когда займемся, отпишемся туда.

Можно ли фичу передать как list? или нужно как-то оборачивать, например хешировать

list в питоне нехэшируем по-умолчанию. А в чем смысл списка как категориальной фичи?

перечесление id предметов(товаров) например

.... может на каждый товар отдельный пример завести тогда?