SS
это на баланс bias/variance, если есть алгоритм с хорошим bias, то variance можно уменьшить ансамблированием, как делает например RandomForest. мне интересно - есть ли теоретическое обоснование подобного ансамблирования над CatBoost
Size: a a a
2020 July 13
K
Так вы по сути о блендинге говорите.
D
Sergey Salnikov
это на баланс bias/variance, если есть алгоритм с хорошим bias, то variance можно уменьшить ансамблированием, как делает например RandomForest. мне интересно - есть ли теоретическое обоснование подобного ансамблирования над CatBoost
Рандом форст - это баггинг алгоритмов (решающее дерево) с низким bias и высоким variance. Решающее дерево фитится очень быстро. Катбуст это алгоритм с небольшим variance по сравнению с bias, бегить кэтбусты можно, это снизит variance, но почти всегда это не окупает временных затрат на фит.
SS
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
D
Sergey Salnikov
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
Я говорил про бэггинг над катбустами, то есть про усреднение n катбустов зафиченых на разных подвыборках. Вы же про это писали?
> есть ли теоретическое обоснование подобного ансамблирования над CatBoost
> есть ли теоретическое обоснование подобного ансамблирования над CatBoost
SS
да, всё правильно
D
Условно, если катбуст фитится за минуту, то 100 катбустов - за полтора часа. В теории это даст прирост, но тот же или больший прирост можно получить за счет более выгодных операций, таких как отбор фичей или оптимизация параметров.
K
Sergey Salnikov
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
Про пару процентов от бленда катбустов обученых просто на подвыборках, вы имхо переборщили. Прирост будет на уровне марджина на каггле
D
Теоретической обоснования прироста такое же как и обоснование прироста в рф - снижение variance
SS
Про пару процентов от бленда катбустов обученых просто на подвыборках, вы имхо переборщили. Прирост будет на уровне марджина на каггле
у меня сработало, сам удивился - как дешево.
SS
Теоретической обоснования прироста такое же как и обоснование прироста в рф - снижение variance
да, при условии низкого bias, вот я и спрашиваю - catboost несмещенный?
SS
Условно, если катбуст фитится за минуту, то 100 катбустов - за полтора часа. В теории это даст прирост, но тот же или больший прирост можно получить за счет более выгодных операций, таких как отбор фичей или оптимизация параметров.
фит каждого катбуста из ансамбля можно делать в своём потоке, распараллеливается по данным
VP
в режиме кросс-компиляции должно работать, я попробую и напишу
@kizill Станислав, случаем не получилось завести кросс-компиляцию в arm?
SK
Привет! Я попробовал armv8a - упал компилятор, заведу с утра тикет на девтулзов, так быть не должно.
SK
а архив с тулкитом armv7a почему-то не синкнулся наружу, тоже пофиксим.
SK
причем под "упал компилятор" я понимаю правда сегфолт компилятора 🙂
2020 July 14
VP
Понял, спасибо большое 🙂 было бы очень здорово иметь evaluation под андроидом :)
VP
Если я могу чем-то помочь (тестированием например) пишите
SK
ya make catboost/libs/model_interface/ --target-platform=default-android-armv8a
SK
я не ту платформу указывал