Size: a a a

2021 January 12

TB

Taras B in catboost_ru
LS
Спасибо за совет! Init model то что мне должно помочь, просто уточню, обучаю модель в первый раз на train/test датасете(которую может обработать мой сервер) со всеми классами, потом беру вторую базу train/test с такими же классами и фичами и на ней обучаю модель по второму разу и так далее пока не закончатся базы, и тогда я получу равноценную модель если бы я разом обучал все на большой базе?
Да, модель должна быть очень похожа на ту, что могла бы быть в один заход. Но я бы валидационную выборку, наверное, зафиксировал.
источник

L

LS in catboost_ru
Taras B
Да, модель должна быть очень похожа на ту, что могла бы быть в один заход. Но я бы валидационную выборку, наверное, зафиксировал.
Спасибо огромное! А то вчера запустил 1.3млн строк и 1600+фичей на проверку, около 22гиг трейн, смотрю в task manager и вижу как быстро исчезают 60гиг памяти, ну и процесс сам себя убил)
источник

L

LS in catboost_ru
👍🏻🍻
источник

SK

Stanislav Kirillov in catboost_ru
Для больших датасетов с катфичами разумно будет ограничивать глубину комбинаций счетчиков по катфичам
источник

SK

Stanislav Kirillov in catboost_ru
попробуйте поставить max-ctr-complexity 2 вместо дефолтных 3
источник

TB

Taras B in catboost_ru
Дефолтные же 2 были всегда. Я его в 1 выкручиваю всегда
источник

SK

Stanislav Kirillov in catboost_ru
мы оба неправы)
источник

SK

Stanislav Kirillov in catboost_ru
, MaxTensorComplexity("max_ctr_complexity", 4)
источник

TB

Taras B in catboost_ru
😱
источник

TB

Taras B in catboost_ru
Это очень много ) на сколько-нибудь больших датасетах с 2 уже полный ахтунг)
источник

SK

Stanislav Kirillov in catboost_ru
Stanislav Kirillov
попробуйте поставить max-ctr-complexity 2 вместо дефолтных 3
А еще параметр
used_ram_limit='45GB'
поставьте
источник

SK

Stanislav Kirillov in catboost_ru
тогда таблицы каунтеров будут вытесняться быстрее
источник

L

LS in catboost_ru
Спасибо! Все попробую👍🏻
источник

AK

Andrew Kolesnichenko in catboost_ru
привет
https://github.com/catboost/catboost/issues/1346
а правильно ли я понял, что основной bottleneck в скорости предсказания для одного объекта - это треды?
источник

SK

Stanislav Kirillov in catboost_ru
да, все так
источник

SK

Stanislav Kirillov in catboost_ru
спасибо, что напомнили, пофикшу асап
источник

AK

Andrew Kolesnichenko in catboost_ru
спасибо)
источник
2021 January 13

ВК

Вячеслав Колосков... in catboost_ru
Stanislav Kirillov
пару дней
есть новости? :)
источник

SK

Stanislav Kirillov in catboost_ru
@Andrei_Khropov сориентирует
источник
2021 January 14

AK

Andrei Khropov in catboost_ru
Вячеслав Колосков
есть новости? :)
Сегодня будет апдейт
источник