Я обучид, получил оценку важности фичей. Теперь хочу использовать при прогнозе несколько лучших фичей

зачем?

Хочу

ну так выкини их из сета и обучи ещё раз

Да так можно и так делаю. Но  хотелось юзать настройки проги а не самому писать циклы

Какие циклы? Если у тебя в питоне есть цикл - очень вероятно, что ты что-то делаешь не так.

для выбора фичей офигенно удобно использовать список:

features = ['column_name1', 'col2', 'col3']
m.fit(X[features], y)

у проги нет такой настройки, чтобы она сама определяла, сколько фичей выкинуть. Но есть несколько техник, как этот процесс автоматизировть на твоей стороне

Понятно. Спс

я сомневаюсь, что в принципе возможно выкинуть фичу из обученной на ней модели

из-за структуры деревянных моделей

В xgb видел про такую вощможность, к сожалнеию забыл настройку. Может кто помнит?

День добрый. Подскажите пожалуйста, по поводу стака двух кэт-буст классификаторов. Я обучил первую модель, получил от неё сырые вероятности

train_raw_main = cat_model.predict(
data=train, prediction_type='RawFormulaVal' )

. Подаю её как бейз-лайн во вторую модель

train_pool = Pool(data=train, label=y_train, baseline=train_raw_main)

. После чего я получаю сырые вероятности от второй модели

train_raw_second = cat_model_second.predict(
data=train, prediction_type='RawFormulaVal' )

. Затем создаю сигмоиду

sigmoid = lambda x: 1 / (1 + np.exp(-x))

И получаю итоговые вероятности

cat_both_pred_valid = np.argmax(sigmoid(valid_raw_main + valid_raw_second), axis=1)

И тут вопрос. Задача многоклассовая. Первая модель выдавала мне 10% сэмплов, в которых ни один из классов не имел вероятность больше 50%. По после обучения второй модели и применении сигмоиды, все семплы имеют хотя бы по одному классу вероятность больше 50%, НО! присижены, реколлы не изменились. Я подозреваю, что я верно стакаю модели, где-то ошибка в процессе объединения сырых вероятностей. Что я делаю не так?

*что я не верно стакаю

Как пример, вот predict_proba от первой модели

array([[0.13381421, 0.19936781, 0.60396359, 0.06285439],
       [0.00516494, 0.01227729, 0.10482973, 0.87772805],
       [0.00303753, 0.05899734, 0.87891196, 0.05905317],
       [0.20276307, 0.57420754, 0.19534581, 0.02768358],
       [0.46016071, 0.48034189, 0.0456426 , 0.01385479],
       [0.09664062, 0.71412984, 0.11098043, 0.07824911],
       [0.22160749, 0.76494453, 0.0071439 , 0.00630409],
       [0.2917822 , 0.36791037, 0.32731141, 0.01299602],
       [0.85483415, 0.14108518, 0.00293748, 0.00114319],
       [0.33521576, 0.5904767 , 0.05084651, 0.02346104]])

. А вот вероятности от 0 до 1, после объединения двух моделей, через сигмоиду

array([[0.41872955, 0.52167551, 0.78061372, 0.26346971],
       [0.09414094, 0.19439738, 0.67852925, 0.94972936],
       [0.04872998, 0.51532611, 0.94296745, 0.52616861],
       [0.55453612, 0.78837454, 0.55903941, 0.1453639 ],
       [0.81130795, 0.81661519, 0.29708677, 0.10998411],
       [0.38816447, 0.825398  , 0.40812836, 0.32593816],
       [0.81471146, 0.93687687, 0.11644688, 0.10415679],
       [0.66876921, 0.71533408, 0.69530253, 0.07950551],
       [0.97294824, 0.85688677, 0.09642076, 0.04170214],
       [0.7422821 , 0.83088741, 0.28148746, 0.15281409]])

. 5-ая строчка, как пример, где для всех классов вероятность была ниже 50%

А в grid_search не любые параметры можно пихать? scale_pos_weight напрмер не хочет

Alert! Raxmon is a known spammer and is CAS banned. Ban is strongly recommended.

Опять народ повалил.

Классный доклад

Текстовые фичи хочется уже потрогать