Телеграмм чат группы catboost

Size: a a a

catboost_ru

828 membersпожаловаться на группу

2020 June 24

Maxim Khrisanfov in catboost_ru

симетричные же деревья сильно переобучаются

источник

14:16пожаловаться #1

Maxim Khrisanfov in catboost_ru

ну и l2_lef_reg увеличиваю до 10-15, дефолтный слишком мало

источник

14:17пожаловаться #2

Ilyas in catboost_ru

у меня модель переобучена, добавляю параметр регуляризации l2_lef_reg , при его высоких значениях, переобучение уменьшается (разница метрик на тесте и трейне), но результат в песочнице на kaggle становиться хуже, а при уменьшении его лучше. Какой то парадокс))

источник

14:17пожаловаться #3

Ilyas in catboost_ru

Maxim Khrisanfov

по моим наблюдениям переобучение сильно снижает grow_policy='Lossguide' и max_leaves=10 начиная с 10 потихоньку увеличивать, если говорить про переобучение как разницу ошибки на трейне и валидации

спасибо а подсказку grow_policy='Lossguide' не пробывал

источник

14:19пожаловаться #4

Ilyas in catboost_ru

Еще применение кросс-валидации почему-то ухудшало результат, по сравнению со случаем вообще без тестовой выборки на catboost. Не сталкивались с чем это может быть связано?

источник

14:22пожаловаться #5

Aliaksandr Tsukanau in catboost_ru

Ilyas

вы говорите ваша модель переобучена. На валидацию отделяется часть данных, и переобучение усиливается из-за фактически уменьшения тренировочного набора

источник

14:25пожаловаться #6

Aliaksandr Tsukanau in catboost_ru

если конечно не делать бэггинг поверх фолдов

источник

14:25пожаловаться #7

Ilyas in catboost_ru

Aliaksandr Tsukanau

Беггинг фолдов делаю, и после беггинга хуже по сравнению со случаем без теста вообще, предположение про данные кажется разумным, спасибо.

источник

14:29пожаловаться #8

2020 June 26