Точно. Может курс-это слишком много, но может посоветуете хорошие статьи или видео?

и курс о том что такое стэкинги

в sklearn есть готовые стекинги

Скорее нужен курс, как не упороться и сделать честную валидацию для стекинга с кол-вом уровней > 2

одноуровневый стекинг - не есть зло, полезная вещь, всегда улучшает, и для этого в курсе можно подвести теорию

Так любой стекинг не есть зло. Зависит от цели)

>2 - зло

Почему?

В соревнованиях — ок

Так а обоснование будет такое же, как и почему случайный лес работает

вот не совсем. случаный лес (для регрессии) - это мы уточняем нашу случайную величину (скор) большим количество измерений (прогон на похожей модели), в результате получается эффект уменьшения дисперсии при сохранении среднего. в стэкинге же, насколько я понял, микс экспертов, каждый из которых улучшает модель в какой-то определенной модели (в метрической, линейно, и т.д.). микс разноплановых экспертов работает лучше, чем усреднение одноплановых

так алгоритмы разные -> вот и уменьшение дисперсии, нет? Ну и усреднение заменяют моделью посложнее

в лесу максимально пытаются сделать деревья разными (бэггинг, фичи из случайно отобранного подмножества итд), но дерево все равно остается деревом. А тут деревья меняют на алгоритмы из разных семейств, но суть, кажется, остается той же

когда вы работаете вообще?)

в перерывах))

как раз делаю такой, действительно, инфы мало

круто, маякни тут когда будет готов

rf регрессия - усреднение многочисленных несмещенных измерений на одноплановом базовом алгоритме, а стекинг - зазноплановые эксперты, именно разноплановость дает прирост в качестве, каждый эксперт вытягивает что-то свое из данных (метрические свойства, линейность). ну и схема обучения другая - через cross_val_predict

так необязательно алгоритмы будут из разных семейств в стекинге (лгб и катбуст, допустим). Ну и обучаться они могут на разных наборах данных. Стекинг - это ж не только про diversity моделей, это про diversity предсказаний. Тут и разные наборы данных, и разные оптимизируемые функции, ну и разные алгоритмы. Просто более общий подход к механизму леса, имхо

ну ещё всякие кагловские трики, типа прогон по нескольким сидам, чтобы на мета-модель стэкинга пришли устаканенные данные, чтобы модель не обучалась на шуме