AS
это внутренняя кухня
Size: a a a
2019 December 12
IP
это внутренняя кухня
А раньше работало
AK
далее надо скачать catboost с github
AK
AK
после это перейти в скачанной папке в catboost/catboost/jvm-packages/catboost4j-prediction
AK
установить сборочные переменные для Visual C++
AK
"c:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build\vcvars64.bat"
AK
примерно так
AK
после этого запустить "mvn clean test" в этой папке
AK
если все пойдет как надо, тот он должен завершиться без ошибок с примерно таким сообщением
AK
-------------------------------------------------------
T E S T S
-------------------------------------------------------
Running ai.catboost.CatBoostModelTest
Tests run: 54, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.338 sec
Results :
Tests run: 54, Failures: 0, Errors: 0, Skipped: 0
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
T E S T S
-------------------------------------------------------
Running ai.catboost.CatBoostModelTest
Tests run: 54, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.338 sec
Results :
Tests run: 54, Failures: 0, Errors: 0, Skipped: 0
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
AK
AK
а да, еще должна быть установлена какая-то версия python актуальная (2.7 или 3.x)
K
У вас есть пример на котором хорошо работает l1 регуляризация в деревьях?
Мы не пробовали, но это возможность улучшить библиотеку, если у вас есть пример (или даже если его нет) напишите issue на гитхабе с пометкой feature request.
Мы не пробовали, но это возможность улучшить библиотеку, если у вас есть пример (или даже если его нет) напишите issue на гитхабе с пометкой feature request.
Ну... не знаю, насколько хорошо, но в xgb l1 же есть, в лгб вроде тоже
VB
Добрый день.
Как рабоатет Catboost с категориальными фичами. Если указываю при объявлении модели cat_features=[...], то алгоритм кодирует фичи указанные в списке "под капотом"? А если я сделаю таргет инкодинг этих фичей(кажется алгоритму уже придется работать с float значениями и на основе них алгоритм посторит one-hot вектора), нужно ли указывать параметр cat_features=[...]? Если да, то зачем?
# Пример кодирования категориальных фичей перед подачей X в cat_model
# https://contrib.scikit-learn.org/categorical-encoding/
import category_encoders as ce
encoder = ce.TargetEncoder()
encoder.fit(X[cat], y)
X[cat] = encoder.transform(X[cat]).astype(np.float16)
# Пример, вызова модели в моем случае:
cat_model = CatBoostRegressor(
loss_function='RMSE',
eval_metric='RMSE',
task_type="GPU",
gpu_ram_part=0.6,
cat_features=categorical_columns)
Как рабоатет Catboost с категориальными фичами. Если указываю при объявлении модели cat_features=[...], то алгоритм кодирует фичи указанные в списке "под капотом"? А если я сделаю таргет инкодинг этих фичей(кажется алгоритму уже придется работать с float значениями и на основе них алгоритм посторит one-hot вектора), нужно ли указывать параметр cat_features=[...]? Если да, то зачем?
# Пример кодирования категориальных фичей перед подачей X в cat_model
# https://contrib.scikit-learn.org/categorical-encoding/
import category_encoders as ce
encoder = ce.TargetEncoder()
encoder.fit(X[cat], y)
X[cat] = encoder.transform(X[cat]).astype(np.float16)
# Пример, вызова модели в моем случае:
cat_model = CatBoostRegressor(
loss_function='RMSE',
eval_metric='RMSE',
task_type="GPU",
gpu_ram_part=0.6,
cat_features=categorical_columns)
VB
Конкретизировал вопрос выше.
DK
Добрый день.
Как рабоатет Catboost с категориальными фичами. Если указываю при объявлении модели cat_features=[...], то алгоритм кодирует фичи указанные в списке "под капотом"? А если я сделаю таргет инкодинг этих фичей(кажется алгоритму уже придется работать с float значениями и на основе них алгоритм посторит one-hot вектора), нужно ли указывать параметр cat_features=[...]? Если да, то зачем?
# Пример кодирования категориальных фичей перед подачей X в cat_model
# https://contrib.scikit-learn.org/categorical-encoding/
import category_encoders as ce
encoder = ce.TargetEncoder()
encoder.fit(X[cat], y)
X[cat] = encoder.transform(X[cat]).astype(np.float16)
# Пример, вызова модели в моем случае:
cat_model = CatBoostRegressor(
loss_function='RMSE',
eval_metric='RMSE',
task_type="GPU",
gpu_ram_part=0.6,
cat_features=categorical_columns)
Как рабоатет Catboost с категориальными фичами. Если указываю при объявлении модели cat_features=[...], то алгоритм кодирует фичи указанные в списке "под капотом"? А если я сделаю таргет инкодинг этих фичей(кажется алгоритму уже придется работать с float значениями и на основе них алгоритм посторит one-hot вектора), нужно ли указывать параметр cat_features=[...]? Если да, то зачем?
# Пример кодирования категориальных фичей перед подачей X в cat_model
# https://contrib.scikit-learn.org/categorical-encoding/
import category_encoders as ce
encoder = ce.TargetEncoder()
encoder.fit(X[cat], y)
X[cat] = encoder.transform(X[cat]).astype(np.float16)
# Пример, вызова модели в моем случае:
cat_model = CatBoostRegressor(
loss_function='RMSE',
eval_metric='RMSE',
task_type="GPU",
gpu_ram_part=0.6,
cat_features=categorical_columns)
если вы сами перевели категориальную фичу во флотовую, то указывать cat_features не надо
если вы хотите сделать one-hot-encoding кат фичи, то указываете cat_features и параметр one_hot_max_size
https://catboost.ai/docs/features/categorical-features.html
если вы хотите сделать one-hot-encoding кат фичи, то указываете cat_features и параметр one_hot_max_size
https://catboost.ai/docs/features/categorical-features.html
VB
Вас понял. Спасибо.
VB
Еще вопрос: я не заворачиваю данные в Pool. Учу модель на 2 картах GPU и 8 логических процессорах. Насколько вырастет качество и производительность(скорость) обучения с применением Pool?