вчера зарелизили 0.10.3, теперь информация про неиспользуемые фичи из модели не дропается

Добрый день. Подскажите, пожалуйста, есть binary classification модель обученная на ~50М записей, 50/50 распределение 0/1 label в training 80%/test 20% data set,  11 categorical, 3 numerical features, 20 iterations. Все метрики выглядят слишком хорошо даже если применить модель на данных которых модель не видела до этого, logloss ~0.01, accuracy/precision ~0.99, и другие метрики. Но что то подсказывает что слишком все хорошо. Больше фич (40 штук) добавляли и картина примерно такая же. Как бороться, на что посмотреть, или улучшать сам дата сет как то?

Только что прошел туториал на PyData, фото победителей контеста и человека с лучшим вопросом

Все молодцы, ура!

Антон победил , здорово

Вопрос по катбусту. Насколько хорошо катбуст работает с фичами с выской корреляцией?

Просьба к разработчикам обратить внимание на issue #474. Фича Shap values для Multiclass была добавлена в v0.9, но по факту сейчас это не работает.

это уже пофиксили. В issue отписались

спасибо

Здравствуйте!
Помогите пожалуйста:
Пробую зафитить catboost регрессию через R на датасете 407 переменных, 13000 наблюдений.

Гиперпараметры:
depth = 11;
learning_rate = 0.0252788636138954;
iterations = 22;
l2_leaf_reg = 0.647743362050963;
rsm = 0.8;
border_count = 110

В который раз абортится сессия R. На некоторых параметрах фит происходит нормально, на некоторых (как показано выше), не происходит. Пробовал и на windows, и на Linux.

Catboost очень чувствительный к параметрам?
Если да, то как лучше их задавать?

Ерроры какие-то видно?

Нет, просто session abort

На нескольких машинах проверял? А на линуксе?

Проверяли на разных машинах
На одной windows 10,
На другой centos linux 7

Если глубину ( depth ) поставить маленькую, то все равно падает?

Давайте в issues с падениями

всем привет! какое число деревьев является оптимальным? например overfitting detector при early_stopping_rounds=5 срабатывает только после 8000 итераций это нормально? или лучше повышать глубину деревьев и понижать l2_leaf_reg?

Если нет бюджета на время применения в продакшне, то можно учить настолько большую модель, насколько это дает прирост по качеству