Size: a a a

2021 June 12

TG

T G in catboost_ru
Я и не смог воспроизвести ошибку при текущей версии , пытался понять что делает пул и какие параметры могли быть установлены автоматически не так как в предыдущий раз...
источник
2021 June 13

TG

T G in catboost_ru
Здравствуйте, в продолжении темы использования свободной Ram в процессе обучения модели...

На рабочем ПК с ограниченным числом ресурсов  свободной ram~ 20gb пытаюсь отработать часть данных для подбора гиперпараметров и их использовании на сервере с объемом датасета x20... used_ram_limit плохо работает... Мб я его неправильно задал?
Датасет 98фичей 1млн строк, 70%катег. Весит пару сотен Mb, обучение съедает 20гб свободной оперативы, ядро выбивает каждые 800 итераций...

Уменьшение итераций и увеличение learning_rate приводит к переобучению примерно на 100ой итерации, в итоге accuracy 0.65 Vs 0.87...

Есть примеры итеративного обучения и дообучения модели или что можно оптимизировать в параметрах  обучения модели?
источник

TG

T G in catboost_ru
источник

TG

T G in catboost_ru
источник

SK

Stanislav Kirillov in catboost_ru
Попробуйте max_ctr_complexity=3 или даже max_ctr_complexity=2
источник

TG

T G in catboost_ru
Спасибо, а used_ram_limit правильно задал?
источник

SK

Stanislav Kirillov in catboost_ru
Да, то что не сработало - больше похоже на какую-то нашу багу
источник

TG

T G in catboost_ru
А какую функцию выполняет pool, если квантизацию не делал, а объявил только x_train, label и catfutures ?
источник

L

LS in catboost_ru
Попробуй tsv файл сделать и загрузить его через пул. У меня файл размером 75гиг train и 27гиг validation, загруженные через пул вместе с cd файлом, занимают около 55 гигов памяти. Но у тебя большое количество cat features, возможно ещё из-за этого.
источник