fit_params <- list(iterations = 1e3,
                  loss_function = 'MultiClass',
                  border_count = c(128, 255),
                  depth = c(5, 10),
                  learning_rate = 0.03,
                  l2_leaf_reg = 3.5,
                  task_type = 'GPU')

Error in catboost.train(train_pool, params = fit_params) :
 catboost/libs/options/json_helper.h:152: Can't parse parameter "depth" with value: [5,10]

Попробуй написать рабочий пример на cpu, потом добавить в него  task_type = 'GPU'

catboost.train только модель обучает

подбор параметров не делает

На CPU этот код выдаёт такую же ошибку. А с однозначными значениями depth=5, и border_count=255 работает и на CPU и на GPU.

Как тогда можно настроить подбор параметров? Только через caret на CPU?

у тебя похоже fit_params кривой получается, попробуй юзать expand.grid как тут в примере
http://topepo.github.io/caret/model-training-and-tuning.html#model-training-and-parameter-tuning

Это fit_params для catboost.train

fct_features_indeces <- train_set %>% sapply(., is.factor) %>% which() %>% unname()

train_pool <- catboost.load_pool(train_set,
                                label = as.integer(train_target),
                                cat_features = fct_features_indeces - 1)

fit_params <- list(iterations = 1e3,
                  loss_function = 'MultiClass',
                  border_count = c(128, 255),
                  depth = list(5, 10),
                  learning_rate = 0.03,
                  l2_leaf_reg = 3.5,
                  task_type = 'CPU')

model_test <- catboost.train(train_pool, params = fit_params)

catboost.train не тюнит параметры

он обучает ровно одну модель?

как Анна сказала

Это я уже понял, что он только обучает одну модель. Вопрос в том как произвести тюнинг.

юзай caret

Как через caret тюнить на GPU?

ссылку я тебе дал, там есть пример "5.5.2 Alternate Tuning Grids"

Го бухать?

Ох, сорри ребят, не та ветка

все параметры которые ты передаешь в caret train в итоге идут в catboost train, если catboost в R умеет работать с GPU то и через caret должно