BM
понятно,что чем больше,тем лучше
Size: a a a
2019 August 20
AF
1500 строк норм?
зависит насколько они разные, вдруг все 1500 повторяются
OS
норм, глубину надо только адекватную подобрать
ИБ
Все задачи разные, Обучись на 1500 строках, потом на 1400, 1300 ... постройки график метрики на тесте от количества строк и примерно будет понятно . Хотя это тоже не всю информацию даст
ИБ
Когда датасеты собираем своими силами делаем как то так. Но это опыт из картинок, не таблиц
BM
А нужно ли ,чтобы предикторы были нормально распределены?
AD
New week - new CatBoost release! CatBoost 0.16.5 is out with boost_from_average parameter which might improve RMSE results and load_model from ONNX, which can be used to convert other boosting models to CatBoost to use its fast applier: https://github.com/catboost/catboost/releases/tag/v0.16.5
SK
Подскажите пожалуйста по связке clickhouse и catboost, если в каталог с моделям, который указан в настрйоке <models_config> положить файл с новой моделью надо ли будет перезапускать clickhouse Или она сам подхватит ее при первом использовании?
AD
@kochetovnicolai Ответишь?
NK
Подскажите пожалуйста по связке clickhouse и catboost, если в каталог с моделям, который указан в настрйоке <models_config> положить файл с новой моделью надо ли будет перезапускать clickhouse Или она сам подхватит ее при первом использовании?
Если добавился новый конфиг - то должен сам подхватится.
Если конфиг остался старый, а поменялась только сама модель - придется перезагрузить.
Надо бы добавить отдельную команду для презагрузки, как это сделано для словарей.
Если конфиг остался старый, а поменялась только сама модель - придется перезагрузить.
Надо бы добавить отдельную команду для презагрузки, как это сделано для словарей.
SK
Николай, спасибо!
SK
И еще вопрос, скорее уже Веронике, собираетель ли вы расширять класс задач, которые можно решать катбустом именно в кликхаусе, кроме задачи прогнозирования?
Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
MK
> Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
а зачем вам кликхаус раз вы можете загрузить все данные в питоне я что-то не понимаю?
а зачем вам кликхаус раз вы можете загрузить все данные в питоне я что-то не понимаю?
NK
И еще вопрос, скорее уже Веронике, собираетель ли вы расширять класс задач, которые можно решать катбустом именно в кликхаусе, кроме задачи прогнозирования?
Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
Было бы интересно узнать, насколько практично кажется обучаться напрямую из ClickHouse в плане процессинга фичей.
Еще, насколько я понимаю, есть некоторые технические трудности для того, чтобы реализовать потоковое обучение, но точно не могу сказать.
Еще, насколько я понимаю, есть некоторые технические трудности для того, чтобы реализовать потоковое обучение, но точно не могу сказать.
SK
> Сейчас обсуждаем с коллегой варинты остаться на кликхаусе+катбусте или уйти в питон+катбуст
а зачем вам кликхаус раз вы можете загрузить все данные в питоне я что-то не понимаю?
а зачем вам кликхаус раз вы можете загрузить все данные в питоне я что-то не понимаю?
планируется что то вроде менеджмента датасетов и моделей, а не разовая задача с разовой загрузкой.
MK
думаю не самая лучшая идея, но попробовать можно)
MK
я использую кликхаус примерно так: много данных, которые я напрямую скормить модели не могу, я их агреггирую в кликхаусе до приемлемых размеров и уже выгружаю в tsv, потом этот файлик скармливаю катбусту
AD
Всем доброго времени, заранее извиняюсь что всю историю не листал, возможно кто то сможет в нескольких словах ответить на два вопроса:
1. Как все же использовать датасет содержащий помимо прочего фичи с плавающей точкой?
2. Стоит задача внедрить обученную на кэтбусте модель для предсказания в си (c), как это могло бы выглядеть?
1. Как все же использовать датасет содержащий помимо прочего фичи с плавающей точкой?
2. Стоит задача внедрить обученную на кэтбусте модель для предсказания в си (c), как это могло бы выглядеть?
Я не советую использовать конвертацию модели в код на си, потому что полученный код неэффективный, вместо этого надо использовать файл с моделью и применение на C++ https://catboost.ai/docs/concepts/c-plus-plus-api_dynamic-c-pluplus-wrapper.html
AD
Всем доброго времени, заранее извиняюсь что всю историю не листал, возможно кто то сможет в нескольких словах ответить на два вопроса:
1. Как все же использовать датасет содержащий помимо прочего фичи с плавающей точкой?
2. Стоит задача внедрить обученную на кэтбусте модель для предсказания в си (c), как это могло бы выглядеть?
1. Как все же использовать датасет содержащий помимо прочего фичи с плавающей точкой?
2. Стоит задача внедрить обученную на кэтбусте модель для предсказания в си (c), как это могло бы выглядеть?
А примеры обучения можно посмотреть в нашем репозитории с туториалами
https://github.com/catboost/tutorials
https://github.com/catboost/tutorials
S⚠
Я не советую использовать конвертацию модели в код на си, потому что полученный код неэффективный, вместо этого надо использовать файл с моделью и применение на C++ https://catboost.ai/docs/concepts/c-plus-plus-api_dynamic-c-pluplus-wrapper.html
Понял, спасибо.