+100500

и lgbm на спарке - гуано :)

Поспойлерю статью и код 🙂 Распараллеливается на самом деле все - и квантизация, и обучение

Тут мы реализовали лучший из известных нам паттернов обучения на больших таблицах, который используем в яндексе - перед обучением квантуй данные, клади квантованное представление в кеш, перебирай параметры, тратя на порядок меньше времени на загрузку квантованных, а не оригинальных данные (данный подход не работает для подбора параметров квантизации)

Всем привет! Пытаюсь решить задачу построения прогноза, но прогноз не должен точно попадать, а быть чуть выше. То есть стоимость ошибки вверх и вниз асиметрична. Нашёл здесь через поиск пример для кастомной функции потерь, но не хватает знаний, чтобы понять как работает пример из документации (для RMSE), и каким образом я могу регулировать потери так, чтобы выставить интересующий меня уровень завышения над метками. Буду благодарен за любую информацию,ссылки на ресурсы, даже критику моего вопроса.

Добрый день!

Я пытаюсь добавить свою функцию потерь по инструкции https://catboost.ai/docs/concepts/python-usages-examples.html#user-defined-loss-function

При этом я беру оттуда пример кода для RmseObjective и использую его:

model = CatBoostRegressor(loss_function=RmseObjective())
model.fit(X=X, y=y)

При этом я получаю ошибку:

CatBoostError: catboost/private/libs/target/data_providers.cpp:325: No metrics specified

Кто-нибудь пробовал добавлять свои функции потерь? Можете подсказать, в чём ошибка?

CatBoostRegressor loss_function 'Quantile' вроде бы

ну и альфу задать останется

рестарт кернела действительно помог - обучение пошло. Спасибо!

Спасибо, сейчас попробую, отпишусь о результатах

😎

Если мне не изменяет память, то вроде правили багу с feature_importances_ в моделях с текстовыми фичами. Но в версии 0.24.3 там array(None, dtype=object)

Получилось, все очень просто. Моя ошибка была в том, что я пытался с помощью потерь искать уровень асимметрии, а это можно сделать через кросс-валидацию одного параметра 👍

как задизейблить предупреждения "Warning: less than 75% gpu memory available for training" во время fit?

А в 0.24.4?

Привет, я недавно начал использовать catboost и каждый раз при обучении у меня рядом с тетрадкой создаётся большой файл core. В документации я не нашёл для чего он и как его положить куда-нибудь в другое место. Можете подсказать что это?

Привет!
А что в нем находится?

и он создается, когда ты вызываешь метод fit?

Он бинарный просто, при fit создаётся

У тебя при этом обучение успешно завершается или падает?