t
Мне было бы удобнее в Аркадии сначала сделать, самому на ci проверять, чтобы потом залить итоговое через гитхаб
Size: a a a
2019 February 03
t
Или такой путь нарушает что-то?
AD
Одинаковый, про тестирование ответит Дима в чат скоро. Через аркадию будет все то же самое, только проще.
DB
А как тестировать R?
ya make -tA должно запускать тесты. Альтернативно - можно зайти в
catboost/R-package и запустить R CMD check . --no-manual --no-examples --no-multiarch2019 February 04
FZ
А можете подсказать на что CatboostEvaluation требует огромное количество места на диске? У меня датасет на ~4гб, делаю evaluation для одной фичи на 5 фолдах и при этом catboost забивает все 25 гигов диска на сервере. Сколько ему нужно тогда места?
Аa
В общем мои проблемы походу из-за OutOfMemory.
Есть какие-то способы уменьшить потребление памяти?
1) методу fit отдаю pandas.dataframe. Если сделаю Pool - будет ли лучше?
2) система 64bit. Можно ли принудитенльо задать 32 битные вычисления?
3) категориальная фича одна.
Есть какие-то способы уменьшить потребление памяти?
1) методу fit отдаю pandas.dataframe. Если сделаю Pool - будет ли лучше?
2) система 64bit. Можно ли принудитенльо задать 32 битные вычисления?
3) категориальная фича одна.
max_ctr_complexity в этом случае надо крутить вниз?AK
> Есть какие-то способы уменьшить потребление памяти?
https://github.com/catboost/catboost/issues/549#issuecomment-447330633 - pandas.dataframe будет работать эффективнее если в числовых колонках dtype=numpy.float32
https://github.com/catboost/catboost/issues/549#issuecomment-447330633 - pandas.dataframe будет работать эффективнее если в числовых колонках dtype=numpy.float32
AK
(если что это для catboost 0.12.0+)
Аa
спасибо
AK
также стоит использовать параметр used_ram_limit при обучении
AK
> 2) система 64bit. Можно ли принудитенльо задать 32 битные вычисления?
В обучении для всех данных, которые занимают в памяти существенный объем, типы с фиксированной размерностью, так что это не влияет.
В обучении для всех данных, которые занимают в памяти существенный объем, типы с фиксированной размерностью, так что это не влияет.
AK
> 3) категориальная фича одна. max_ctr_complexity в этом случае надо крутить вниз?
AK
Это тоже может помочь, да, но я бы сначала попробовал меры выше
Аa
> 2) система 64bit. Можно ли принудитенльо задать 32 битные вычисления?
В обучении для всех данных, которые занимают в памяти существенный объем, типы с фиксированной размерностью, так что это не влияет.
В обучении для всех данных, которые занимают в памяти существенный объем, типы с фиксированной размерностью, так что это не влияет.
Вот это меня запутало. Кажется, что противоречит
pandas.dataframe будет работать эффективнее если в числовых колонках dtype=numpy.float32AK
Нет не противоречит. У тебя могут быть 64 или 32 бит числа с плавающей точкой в колонках
AK
при этом система может быть и 32 и 64 бит
Аa
а, ну да. Просто по умолчанию - 64 бита
Аa
все колонки снизил зо float32/int32. Вычисления идут чуть быстрее.
Аa
память... ну вроде пока не всю съел :)
AK
Если перевести из int32 во float32 будет еще быстрее.