AV
Привет! =)
Вчера задал два вопроса)
1) Доброй ночи, коллеги! Решил воспользоваться долгожданной функцией utils.quantize и получил такое:
Правильно ли я понял, что киллер фича релиза не работает с
Есть ли какие-то способы с этим работать (без предварительного one-hot и тп)?
Ну, и планируется ли поддержка категориальных фич в будущем? В ближней перспективе или дальней?
2) Как раз про отдельный метод quantize:
И в догонку второй вопрос. Я убрал категориальные фичи. Теперь у меня есть train и eval файлы по 22Г. Я запускаю quantize для них как в примере, и на подготовку расходуется 25Г RAM. После чего У видеокарт запрашивается 22Г памяти, которых в них нет – там 8Г + 6Г
Что мне следовало сделать, чтобы что-то заработало? =)
Можно ли как-то ограничить используемую память имеющимися на машинке ресурсами?
PS попробовал параметр quantize used_ram_limit, для которого нет описания. Получил лог на 60МБ из сообщений
пришлось прервать
PPS удалось запустить fit на CPU, но использована вся RAM. Выглядит так, будто quantize строит пулы на основе доступной памяти CPU. Но тогда это делает невозможным использование GPU, если его память на машине меньше, чем RAM. И скорость на CPU совершенно неприемлемая. Нужно плашки оперативки вынимать, чтобы все заработало? =) Поможет ли ulimit, например?
Вчера задал два вопроса)
1) Доброй ночи, коллеги! Решил воспользоваться долгожданной функцией utils.quantize и получил такое:
_catboost.CatBoostError: catboost/libs/data/load_and_quantize_data.cpp:52: Categorical features are not supported in block quantizationПравильно ли я понял, что киллер фича релиза не работает с
Categorical features вообще? =(Есть ли какие-то способы с этим работать (без предварительного one-hot и тп)?
Ну, и планируется ли поддержка категориальных фич в будущем? В ближней перспективе или дальней?
2) Как раз про отдельный метод quantize:
И в догонку второй вопрос. Я убрал категориальные фичи. Теперь у меня есть train и eval файлы по 22Г. Я запускаю quantize для них как в примере, и на подготовку расходуется 25Г RAM. После чего У видеокарт запрашивается 22Г памяти, которых в них нет – там 8Г + 6Г
Что мне следовало сделать, чтобы что-то заработало? =)
Можно ли как-то ограничить используемую память имеющимися на машинке ресурсами?
PS попробовал параметр quantize used_ram_limit, для которого нет описания. Получил лог на 60МБ из сообщений
Resource CPU RAM: functionWithResourceUsage.ResourceUsage(10000) > ResourceQuota(0)пришлось прервать
PPS удалось запустить fit на CPU, но использована вся RAM. Выглядит так, будто quantize строит пулы на основе доступной памяти CPU. Но тогда это делает невозможным использование GPU, если его память на машине меньше, чем RAM. И скорость на CPU совершенно неприемлемая. Нужно плашки оперативки вынимать, чтобы все заработало? =) Поможет ли ulimit, например?
А сколько примерно объектов в датасете на 22G?
