Size: a a a

2020 July 13

SS

Sergey Salnikov in catboost_ru
это на баланс bias/variance, если есть алгоритм с хорошим bias, то variance можно уменьшить ансамблированием, как делает например RandomForest. мне интересно - есть ли теоретическое обоснование подобного ансамблирования над CatBoost
источник

K

K-S in catboost_ru
Так вы по сути о блендинге говорите.
источник

D

Denis in catboost_ru
Sergey Salnikov
это на баланс bias/variance, если есть алгоритм с хорошим bias, то variance можно уменьшить ансамблированием, как делает например RandomForest. мне интересно - есть ли теоретическое обоснование подобного ансамблирования над CatBoost
Рандом форст - это баггинг алгоритмов (решающее дерево) с низким bias и высоким variance. Решающее дерево фитится очень быстро. Катбуст это алгоритм с небольшим variance по сравнению с bias, бегить кэтбусты можно, это снизит variance, но почти всегда это не окупает временных затрат на фит.
источник

SS

Sergey Salnikov in catboost_ru
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
источник

D

Denis in catboost_ru
Sergey Salnikov
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
Я говорил про бэггинг над катбустами, то есть про усреднение n катбустов зафиченых на разных подвыборках. Вы же про это писали?
> есть ли теоретическое обоснование подобного ансамблирования над CatBoost
источник

SS

Sergey Salnikov in catboost_ru
да, всё правильно
источник

D

Denis in catboost_ru
Условно, если катбуст фитится за минуту, то 100 катбустов - за полтора часа. В теории это даст прирост, но тот же или больший прирост можно получить за счет более выгодных операций, таких как отбор фичей или оптимизация параметров.
источник

K

K-S in catboost_ru
Sergey Salnikov
fit естественным образом распараллеливается по bagging-подвыборкам, и predict тоже, так что вопрос времени - не в приоритете. плюс пара процентов к roc_auc важнее.
Про пару процентов от бленда катбустов обученых просто на подвыборках, вы имхо переборщили. Прирост будет на уровне марджина на каггле
источник

D

Denis in catboost_ru
Теоретической обоснования прироста такое же как и обоснование прироста в рф - снижение variance
источник

SS

Sergey Salnikov in catboost_ru
K-S
Про пару процентов от бленда катбустов обученых просто на подвыборках, вы имхо переборщили. Прирост будет на уровне марджина на каггле
у меня сработало, сам удивился - как дешево.
источник

SS

Sergey Salnikov in catboost_ru
Denis
Теоретической обоснования прироста такое же как и обоснование прироста в рф - снижение variance
да, при условии низкого bias, вот я и спрашиваю - catboost несмещенный?
источник

SS

Sergey Salnikov in catboost_ru
Denis
Условно, если катбуст фитится за минуту, то 100 катбустов - за полтора часа. В теории это даст прирост, но тот же или больший прирост можно получить за счет более выгодных операций, таких как отбор фичей или оптимизация параметров.
фит каждого катбуста из ансамбля можно делать в своём потоке, распараллеливается по данным
источник

VP

Vladimir Podshivalov in catboost_ru
Stanislav Kirillov
в режиме кросс-компиляции должно работать, я попробую и напишу
@kizill Станислав, случаем не получилось завести кросс-компиляцию в arm?
источник

SK

Stanislav Kirillov in catboost_ru
Привет! Я попробовал armv8a - упал компилятор, заведу с утра тикет на девтулзов, так быть не должно.
источник

SK

Stanislav Kirillov in catboost_ru
а архив с тулкитом armv7a почему-то не синкнулся наружу, тоже пофиксим.
источник

SK

Stanislav Kirillov in catboost_ru
причем под "упал компилятор" я понимаю правда сегфолт компилятора 🙂
источник
2020 July 14

VP

Vladimir Podshivalov in catboost_ru
Понял, спасибо большое 🙂 было бы очень здорово иметь evaluation под андроидом :)
источник

VP

Vladimir Podshivalov in catboost_ru
Если я могу чем-то помочь (тестированием например) пишите
источник

SK

Stanislav Kirillov in catboost_ru
ya make catboost/libs/model_interface/ --target-platform=default-android-armv8a
источник

SK

Stanislav Kirillov in catboost_ru
я не ту платформу указывал
источник