AD
не хватает гпу памяти, поэтому ошибка
Size: a a a
2019 May 15
AV
На CPU - нет ошибки, на GPU - есть, это значит не хватает памяти у видеокарты?
AV
ок, спасибо
VE
На CPU - нет ошибки, на GPU - есть, это значит не хватает памяти у видеокарты?
да
AD
вообще советы такие:
How to overcome "Out of memory" error in GPU training?
- Set the boosting_type parameter to 'Plain'. It is set to 'Ordered' by default for datasets with less then 50 thousand objects. The Ordered scheme requires a lot of memory.
- Set the max_ctr_complexity parameter to either 1 or 2, if the dataset has categorical features.
- Decrease the value of the gpu_ram_part parameter
- Set the gpu_cat_features_storage parameter to CpuPinnedMemory
- Check that the dataset fits in GPU memory. The quantized version of the dataset is loaded into GPU memory. This version is much smaller than the initial dataset. But it can be larger then available memory size if the dataset is big enough.
- Decrease depth value, if it is greater then 10. Each tree contains 2^n leaves if the depth is set to n, because CatBoost builds full symmetric trees by default. The recommended depth is 6, which works well in most cases. In rare cases it's useful to increase the depth value up to 10.
How to overcome "Out of memory" error in GPU training?
- Set the boosting_type parameter to 'Plain'. It is set to 'Ordered' by default for datasets with less then 50 thousand objects. The Ordered scheme requires a lot of memory.
- Set the max_ctr_complexity parameter to either 1 or 2, if the dataset has categorical features.
- Decrease the value of the gpu_ram_part parameter
- Set the gpu_cat_features_storage parameter to CpuPinnedMemory
- Check that the dataset fits in GPU memory. The quantized version of the dataset is loaded into GPU memory. This version is much smaller than the initial dataset. But it can be larger then available memory size if the dataset is big enough.
- Decrease depth value, if it is greater then 10. Each tree contains 2^n leaves if the depth is set to n, because CatBoost builds full symmetric trees by default. The recommended depth is 6, which works well in most cases. In rare cases it's useful to increase the depth value up to 10.
AD
Скоро это доедет до документации, но пока текстом.
IC
При конфигурировании датасета можно ли сделать сложные метки, с несколькими значениями?
обычные метки
train_labels = [ 100, 33, 100, 33 ]
нужно примерно в таком виде (выдает ошибку на строке model.fit...)
train_labels = [ [100, 0], [33, 0], [100, 0], [33, 0] ]
обычные метки
train_labels = [ 100, 33, 100, 33 ]
нужно примерно в таком виде (выдает ошибку на строке model.fit...)
train_labels = [ [100, 0], [33, 0], [100, 0], [33, 0] ]
AD
Нельзя
AD
А зачем именно?
2019 May 16
AD
Как понять отрицательные значения
Score в catboost.eval.evaluation_result?
Пропустили это сообщение. Сейчас Score - это значение изменения лосса. Хороший скор может быть как положительным, так и отрицательным в зависимости от того, лосс надо максимизировать или минимизировать. Также скор может быть плохим, и это значит, что фича вредная. Ну или модель сильно недообученная, и там близкое к нулю значение, фича просто не доиспользована в модели.
AD
Скоро поменяем, чтобы был положительный - это хорошо, отрицательный - это плохо. Тк этот вопрос не в первый раз возникает.
IP
Пропустили это сообщение. Сейчас Score - это значение изменения лосса. Хороший скор может быть как положительным, так и отрицательным в зависимости от того, лосс надо максимизировать или минимизировать. Также скор может быть плохим, и это значит, что фича вредная. Ну или модель сильно недообученная, и там близкое к нулю значение, фича просто не доиспользована в модели.
Из чего он взял тогда, что 10 фича плохая, а 2 фичи не известно?
AD
decision good/bad vs unknown принимается по pvalue
AD
судя по тому, что много unknown, модель недообученная
IP
decision good/bad vs unknown принимается по pvalue
наверное не совсем, так бы 3 фича была плохая
SZ
А откуда взялась такая таблица?
IP
судя по тому, что много unknown, модель недообученная
это да, тестовый вариант
IP
А откуда взялась такая таблица?
from catboost.eval.evaluation_result import *
logloss_result = result.get_metric_results('Logloss')
logloss_result.get_baseline_comparison(
ScoreConfig(ScoreType.Rel, overfit_iterations_info=False)
)
AD
наверное не совсем, так бы 3 фича была плохая
3 фича отмечена как Good
AD
pvalue=0.004