спасибо!

не за что. буду благодарен, если пофиксите.

Доброй ночи, коллеги! Решил воспользоваться долгожданной функцией utils.quantize и получил такое:
_catboost.CatBoostError: catboost/libs/data/load_and_quantize_data.cpp:52: Categorical features are not supported in block quantization

Правильно ли я понял, что киллер фича релиза не работает с Categorical features вообще? =(

Есть ли какие-то способы с этим работать (без предварительного one-hot и тп)?

Ну, и планируется ли поддержка категориальных фич в будущем? В ближней перспективе или дальней?

И в догонку второй вопрос. Я убрал категориальные фичи. Теперь у меня есть train и eval файлы по 22Г. Я запускаю quantize для них как в примере, и на подготовку расходуется 25Г RAM. После чего У видеокарт запрашивается 22Г памяти, которых в них нет – там 8Г + 6Г
Что мне следовало сделать, чтобы что-то заработало? =)
Можно ли как-то ограничить используемую память имеющимися на машинке ресурсами?

PS попробовал параметр quantize used_ram_limit, для которого нет описания. Получил лог на 60МБ из сообщений
Resource CPU RAM: functionWithResourceUsage.ResourceUsage(10000) > ResourceQuota(0)
пришлось прервать

PPS удалось запустить fit на CPU, но использована вся RAM. Выглядит так, будто quantize строит пулы на основе доступной памяти CPU. Но тогда это делает невозможным использование GPU, если его память на машине меньше, чем RAM. И скорость на CPU совершенно неприемлемая. Нужно плашки оперативки вынимать, чтобы все заработало? =)

Привет! Вчера в докладе была речь и про auto learning rate, а где именно можно прочитать в об этом в документации (в частности, интересует для каких лосов он работает)? Гугление по доке не помогло найти страницу с этим

RMSE, Logloss, MultiClass

Ок, спасибо

А насколько важно для катбуста делать какой-то препроцессинг категориальных фичей по скоращению числа категорий внутри одной фичи? катбуст сам каким-то образом обработает редко встречающиеся категории или эту часть нужно самому делать ?

Катбуст сам обрабатывает редкие катфичи, единственное, при этом модель может большой стать. Если с размером итоговой модели проблем нет, то лучше оставить. Если слишком большая, то можно уменьшить размерность катфичей.

спасибо

а катбуст можно с dask использовать ?

можно ли как-то катбуст принудить не использовать в самом начале отдельные фичи? У меня проблема в том что есть одна сильно кореллированная фича с таргетом и если первое дерево строится на основании этой фичи, то происходит переобучение и метрика остановки по валидационному сету выдает недостижимо высокое значение, которое при другом сценарии обучения невозможно достичь. Полагаться только на эту фичу нет смысла, тк бизнес задача требует ранжирования результатов по вероятности и по итогу получается задача итоговая не решена тк большинство предиктов имеют либо 0 либо близкое к 1 значение

уберите эту фичу

причем иногда катбуст обучается нормально, а иногда хватает эту фичу и дальнейшее обучение невозможно

ну так и сделал, но все таки какая-то предсказательная способность у неё есть, хотелось бы оставить

он всегда первой хватает фичу которая максимально информативна

можно кэф reg_lambda или l2_reg побольше поставить тогда предсказания поглаже должны быть

ну странно как-то, только сейчас это появилось. Причем изменения в данные были внесены только в типы фичей. заменил int64 на int16 где можно

Оффтоп, пришла форма с отзывом по вчерашнему митапу про cb. Ссылка https://forms.yandex.ru/surveys/10019833/ нерабочая.

Можно попробовать через параметр feature_weights задать вес этой фиче меньше 1