Раз в catboost завезли работу с текстом. То можно ли сделать классифактор для определения языка на коротких предложениях(1-10слов)? Или еще лучше использовать нейронку?

Задача регрессии на одном и том же небольшом датасете 33к * 23:
catboost 0.16.4: RMSE. Train: 493.07. Validation: 533.24. Holdout: 509.68
catboost 0.20.2: RMSE. Train: 405.61. Validation: 474.93. Holdout: 448.43

А мне нравится, спасибо команде разработчиков! :)

Похоже баг нашел.

model.get_feature_importance(..., type='ShapValues')

возвращает матрицу с shape (n_samples, n_classes, n_features), а должно быть (n_classes, n_samples, n_features)

из-за этого не работает визуализация

shap.summary_plot(shap_values, X, plot_type="bar")

воспроизвести можно добавив эту строчку в конец туториала

https://github.com/catboost/tutorials/blob/master/model_analysis/shap_values_tutorial.ipynb

model.get_feature_importance(..., type='ShapValues')

shap.summary_plot(shap_values, X, plot_type="bar")

похоже не стоит ничего менять в CatBoost, потому что на стороне пакета shap уже производятся нужные преобразования если юзать их интерфейс shap.TreeExplainer(...).shap_values(...)
Если хочется юзать катбустовский get_feature_importance и при этом рисовать графики из пакета shap, то можно делать аналогичные преобразования как это делает shap

phi = self.model.get_feature_importance(Pool(data), type='ShapValues')

if len(phi.shape) == 3:
    expected_value = [phi[0, i, -1] for i in range(phi.shape[1])]
    shap_values = [phi[:, i, :-1] for i in range(phi.shape[1])]
else:
    expected_value = phi[0, -1]
    shap_values = phi[:, :-1]

Коллеги, всем добрый вечер
Сейчас будет мегастранный вопрос

Catboost сам понимает какие фичи категориальные или их надо явно указывать?

Явно

А каким параметром?

У меня в конце обучения в консоль пайчарма вываливается кучка сообщений такого вида:

Exception ignored in: '_catboost._CatBoost.__dealloc__'
TypeError: 'NoneType' object is not callable
TypeError: 'NoneType' object is not callable
Exception ignored in: '_catboost._CatBoost.__dealloc__'
TypeError: 'NoneType' object is not callable

И я даже затрудняюсь отдебажить - понять, откуда они валятся. В какую сторону посмотреть? catboost 0.20.2

на случай https://github.com/catboost/catboost/issues/466 не похоже - я делаю model.fit() и дальше работаю только с объектом model

Стабильно воспроизводится?

ага

о, нашёл откуда ноги растут, но не понимаю, какого хрена они так делают

вопрос всё-таки сводится к формулировке: "как понять, где в коде возникло то исключение, которое было проигнорировано"

Намекни:)

грубо

model1 = CatBoostRegressor()
model1.load_model(path)

model2 = CatBoostRegressor()
model2.load_model(path)

model3 = CatBoostRegressor()
model3.fit()

получим 2 штуки Exception ignored in: '_catboost._CatBoost.__dealloc__' и 4 штуки TypeError: 'NoneType' object is not callable

куча кода пропущена, конечно