Телеграмм чат группы catboost

11:52пожаловаться #1

Build from source - CatBoost. Documentation

Alexandr Odainik

Всем привет. Можете подсказать, как решить проблему:

devtools::install_url('https://github.com/catboost/catboost/releases/download/v0.6.1.1/catboost-R-0.6.1.1.tgz', INSTALL_opts = c("--no-multiarch", "--no-test-load"))
Downloading package from url: https://github.com/catboost/catboost/releases/download/v0.6.1.1/catboost-R-0.6.1.1.tgz
✔️  checking for file ‘/tmp/RtmpGyPrw6/remotes66a633235934/catboost/DESCRIPTION’ ...
─  preparing ‘catboost’:
✔️  checking DESCRIPTION meta-information ...
   Warning: /tmp/RtmpFqOCG3/Rbuild6ae22c814da6/catboost/man/catboost.train.Rd:56: unknown macro '\t'
   Warning: /tmp/RtmpFqOCG3/Rbuild6ae22c814da6/catboost/man/catboost.train.Rd:56: unknown macro '\t'
   Warning: /tmp/RtmpFqOCG3/Rbuild6ae22c814da6/catboost/man/catboost.train.Rd:56: unknown macro '\t'
   Warning: /tmp/RtmpFqOCG3/Rbuild6ae22c814da6/catboost/man/catboost.train.Rd:56: unknown macro '\t'
─  checking for LF line-endings in source and make files and shell scripts
─  checking for empty or unneeded directories
─  building ‘catboost_0.6.1.1.tar.gz’
   
Installing package into ‘/home/odaynik/R/x86_64-pc-linux-gnu-library/3.4’
(as ‘lib’ is unspecified)
* installing *source* package ‘catboost’ ...
** R
** inst
** preparing package for lazy loading
** help
Warning: /tmp/RtmpTIqLcr/R.INSTALL6af64347628a/catboost/man/catboost.train.Rd:56: unknown macro '\t'
Warning: /tmp/RtmpTIqLcr/R.INSTALL6af64347628a/catboost/man/catboost.train.Rd:56: unknown macro '\t'
Warning: /tmp/RtmpTIqLcr/R.INSTALL6af64347628a/catboost/man/catboost.train.Rd:56: unknown macro '\t'
Warning: /tmp/RtmpTIqLcr/R.INSTALL6af64347628a/catboost/man/catboost.train.Rd:56: unknown macro '\t'
*** installing help indices
** building package indices
* DONE (catboost)

library(catboost)
Error: package or namespace load failed for ‘catboost’ in library.dynam(lib, package, package.lib):
 shared object ‘libcatboostr.so’ not found

Устанавливаю все как написано в доке тут: https://catboost.ai/docs/installation/r-installation-github-installation.html

catboost.ai

To install the R package directly from the CatBoost repository:

v0.6.1.1 - ты уверен, что ты эту версию хочешь установить?

11:54пожаловаться #2

Alexandr Odainik in catboost_ru

блин) Точно) Забыл поправить версию)
Но это не решило проблему

11:56пожаловаться #3

Alexandr Odainik in catboost_ru

поставил сейчас 16.1

11:57пожаловаться #4

Я советую поискать ни гитхабе issue с подобным описанием, там могут быть советы

11:57пожаловаться #5

Alexandr Odainik in catboost_ru

как не странно, но решилось перезапуском сессии))

12:09пожаловаться #6

Evgeny in catboost_ru

День добрый. Чему равно k для бинарной классификации?
https://catboost.ai/docs/concepts/algorithm-main-stages_cat-to-numberic.html?lang=en

12:34пожаловаться #7

там несколько k на страничке, но если ты про описание Borders, то 1

12:50пожаловаться #8

@annaveronika, такие скачки нормально, после перезапуска со snapshot?

13:07пожаловаться #9

Вообще такой скачок мог быть, если бы ты обучится, применил формулу, полученную и стал дальше учиться из этой точки. А после снепшота по идее не должно быть такого. А ты параметры менял какие-то? и как ты запускал?

13:14пожаловаться #10

Evgeny in catboost_ru

Anna Veronika Dorogush

там несколько k на страничке, но если ты про описание Borders, то 1

Спасибо. Я просто пытался понять, какому CtrType соответствует пример внизу страницы. Похоже, что Borders с k=1. Хотя в примере описание ctr (avg_target) больше похож на Buckets c i=[1].

13:44пожаловаться #11

buckets и borders при одном бордере - это одно и то же

13:45пожаловаться #12

Anna Veronika Dorogush

нет всё так же, только ноутбук перезапустил

14:12пожаловаться #13

Anna Veronika Dorogush

И не выходит из shapshot вытащить сохраненую модель.
Запускаю со shapshot, останавливаю и вытаюсь сохранить.
Ошибка

 There is no trained model to use save_model(). Use fit() to train model. Then use this method.

Если менять параметры обучения,то

 Current training params differ from the params saved in snapshot

Тогда какой смысл от snapshot?

20:16пожаловаться #14

2019 August 01

Evgeny in catboost_ru

Привет. На Google Colaboratory сессия падает, если в CatBoostClassifier custom_metric содержит, среди прочих, ту же метрику, что указана в eval_metric. Проблема возникает на GPU. На CPU нормально работает.
Нет своей GPU, не могу проверить, связано ли это с Colaboratory или общая проблема catboost.

11:27пожаловаться #15

Evgeny

сделай, пожалуйста, issue на гитхабе, посмотрим

11:28пожаловаться #16

Igor Petrov

И не выходит из shapshot вытащить сохраненую модель.
Запускаю со shapshot, останавливаю и вытаюсь сохранить.
Ошибка

 There is no trained model to use save_model(). Use fit() to train model. Then use this method.

Если менять параметры обучения,то

 Current training params differ from the params saved in snapshot

Тогда какой смысл от snapshot?

Я не до конца поняла, что ты делаешь. Обычно со снепшотом так: обучаешься с сохранением снепшота. Потом что-то происходит (например, ctrl+C), обучение останавливается. Потом ты запускаешь с тем же снепшотом, в той же папке, на тех же данных, с теми же параметрами обучение, и оно работает с той итерации, где было остановлено.

11:30пожаловаться #17

Сохраненную модель из снепшота мы скоро разрешим вытаскивать в некоторых случаях (когда катфичей нет). А пока предлагается использовать снепшоты как я описала выше. Ну и обычно надо ровно это.

11:30пожаловаться #18

@annaveronika а если обучение идет долго и надо остановить его и сохранить модель, как быть?

11:31пожаловаться #19

Число итераций можно менять при восстановлении из снепшота. Остальные параметры должны быть такие же. Поэтому можно еще раз запустить обучение с числом итераций меньше, чем было, но больше, чем прошло.