ИБ
Супер
Size: a a a
2020 December 18
SK
Пока без текстов и эмбеддингов будет
ИБ
А есть какой то полуживой пример на scala? потыкать
AK
https://github.com/catboost/catboost/tree/master/catboost/spark/catboost4j-spark - вот тут readme, там есть примеры.
ИБ
Класс, спасибо,
» И катфичи поддержали
а в 0.25-rc1 катфичи уже есть?
» И катфичи поддержали
а в 0.25-rc1 катфичи уже есть?
AK
Нет, в 0.25-rc1 нет, там внизу есть список "Known limitations".
TB
Подскажите пожалуйста, хочу уменьшить размер модели (1 категориальный признак, 15к уникальных значений), но при увеличении model_size_reg заметно проседает качество. И учитывая что в доках написано - The mapping from the categorical feature value hash to some statistic values is stored for each categorical feature that is used in the model. Возникает вопрос - может самому часть этих стат значений посчитать и добавить как числовые фичи? Или это велосипед и мне все таки придется идти на компромис размер-качество?
max_ctr_complexity=1 попробуй поставить - радикально снижает итоговый размер модели
S
Здравствуйте. Тренирую катбуст на ГПУ в ноуте, но почему-то всегда пишет загрузка не больше 50 процентов (0). И загружается только левая часть которая Compute_0 (1), в то же время у нее загрузка около 80 процентов. А можно ли загрузить ту часть которая Compute_1 (2) ? Чтоб загрузка (0) стала 100%? Или я не правильно трактую информацию которую на графиках винда показывает?
SK
А что пишет nvidia-smi?
OL
сми врут)
S
А что пишет nvidia-smi?
2020 December 19
co
Ребят, я немного хлебушек, так что сорян если вопрос тупой.
А можно ли как-то в catboost задать вручную свой критерий разбиения в деревьях?
А можно ли как-то в catboost задать вручную свой критерий разбиения в деревьях?
ЕП
Ребят, я немного хлебушек, так что сорян если вопрос тупой.
А можно ли как-то в catboost задать вручную свой критерий разбиения в деревьях?
А можно ли как-то в catboost задать вручную свой критерий разбиения в деревьях?
прямо совсем произвольный не получится. можно выбрать grow_policy, глубину, min число самплов в листе, max число листьев, штраф за первое использование фичи в модели https://catboost.ai/docs/concepts/python-reference_parameters-list.html
DG
Привет! Насколько типична проблема для catboot для больших датасетов, что одна модель не может хорошо генерализировать весь датсет и надо как-то кластеризовать данные, после чего строить несколько моделей? Если да, то как называется такая проблема и какой к ней подход?
2020 December 21
A
Подскажите, правда ли, что квантизация пулов не должна сильно влиять на результаты? Сейчас столкнулся с тем, что сохранение пулов не работает без квантизации (но почему???), и теперь думаю, потеряю ли я что-нибудь после ее включения.
A
И еще вопрос: из-за какиъ технических ограничений катбустовые пулы не пикляться?
2020 December 24
A
Привет, запускаю тренировку катбуста с ранжирующей метрикой , параметры:
1. Не понял, при чем тут классификация.
2. Мне казалось, если я не задал pairs при построении пула, то он сам генерирует возможные пары из объектов одной группы, сравнивая label-ы объектов, и считая победителем тот, у кого он больше. Я не так понял документацию?
{'loss_function': 'YetiRank', 'custom_metric': ['AUC', 'Accuracy'], 'eval_metric': 'AUC', 'iterations': 5000, 'random_seed': 42, 'task_type': 'GPU'}, пишет ошибку catboost._catboost.CatBoostError: catboost/private/libs/target/target_converter.cpp:380: Target with classes must contain only 2 unique values for binary classification.
1. Не понял, при чем тут классификация.
2. Мне казалось, если я не задал pairs при построении пула, то он сам генерирует возможные пары из объектов одной группы, сравнивая label-ы объектов, и считая победителем тот, у кого он больше. Я не так понял документацию?
SK
Нет, тут ошибка в том, что AUC метрика автоматом не включается в режим
"AUC:type=Ranking"SK
Заведи, пожалуйста, issue, а пока просто везде напиши
AUC:type=Ranking вместо AUC2020 December 25
A
О, спасибо большое! :-)