SS
А подскажите плиз как с воспроизводимостью результатов предикта при апдейте катбуста? Если я произведу апдейт 0.13.1 -> 0.24.4 могу я рассчитывать на те же предсказания? Модель загружаю из бинарного формата катбуста.
Size: a a a
2021 February 09
ВК
Sergey Shalnov
А подскажите плиз как с воспроизводимостью результатов предикта при апдейте катбуста? Если я произведу апдейт 0.13.1 -> 0.24.4 могу я рассчитывать на те же предсказания? Модель загружаю из бинарного формата катбуста.
а вы консервативный человек? :)
SK
Применение должно быть идентично
SK
обучение скорее всего нет 🙂
Аa
обучение точно нет, там вроде как раз в 0,24 выкатили что-то интересное
D
добрый день. такая ситуация - улучшая модель (бинарная классификация) по AUC заметил, что уменьшается процент правильных попаданий в самом самом топе (AUC растёт, а тру позитив в топ 1% падает). вопрос - можно как-то кастомную функцию прикрутить чтоб максимизировать не весь AUC а лишь лифт в топ 1%, к примеру? подскажите где копать, что читать. заранее благодарю.
d
accuracy@n
А вот тут пример:
https://catboost.ai/docs/concepts/python-usages-examples.html#custom-loss-function-eval-metric
А вот тут пример:
https://catboost.ai/docs/concepts/python-usages-examples.html#custom-loss-function-eval-metric
TG
Подскажите пожалуйста: имеются ли стандартные механизмы катбуста или как наиболее просто, отрисовать строящиеся графики по умолчанию с параметром plot=True. (Модель строится на сервере не имеющем доступ в интернет)
Ещё очень интересует, как можно вывести предварительное время оставшееся до конца обучения?
Ещё очень интересует, как можно вывести предварительное время оставшееся до конца обучения?
3
T G
Подскажите пожалуйста: имеются ли стандартные механизмы катбуста или как наиболее просто, отрисовать строящиеся графики по умолчанию с параметром plot=True. (Модель строится на сервере не имеющем доступ в интернет)
Ещё очень интересует, как можно вывести предварительное время оставшееся до конца обучения?
Ещё очень интересует, как можно вывести предварительное время оставшееся до конца обучения?
Чтобы видеть прогресс, проставьте verbose = True
SK
Можно еще указать
verbose=100SK
Тогда только каждую 100 итерацию будет ввводиться инфа
2021 February 10
D
accuracy@n
А вот тут пример:
https://catboost.ai/docs/concepts/python-usages-examples.html#custom-loss-function-eval-metric
А вот тут пример:
https://catboost.ai/docs/concepts/python-usages-examples.html#custom-loss-function-eval-metric
ооо спасибо. будем пробовать.
TG
Тогда только каждую 100 итерацию будет ввводиться инфа
Спасибо
DB
Подскажите пожалуйста, при использовании модели на тестовых данных катбуст ругается на неправильный порядок колонок. Я думал, катбусту не важен порядок, а только названия.
catboost/libs/data/model_dataset_compatibility.cpp:81: At position 1 should be feature with name ...
AK
Может быть названия колонок не были заданы для тестовых данных? Вообще, да, если названия признаков есть и при обучении и при применении должно быть сопоставление по ним.
DB
Может быть названия колонок не были заданы для тестовых данных? Вообще, да, если названия признаков есть и при обучении и при применении должно быть сопоставление по ним.
Эта ошибка возникла из-за того, что недостало нескольких колонок (возможно warning как в пандас о разнице shape, было бы хорошо имлементировать). Возникла другая проблема опять из-за порядка колонок.
Но если последнюю строчку кода поменять на:
Это ожидаемое поведение?
cbc = CatBoostClassifier(**model_best_params, eval_metric = 'AUC', logging_level='Silent', random_state=42)Выдаёт ошибку: cat_features must be integer or string.... (потому что видит что там где должен быть cat feature -- numerical )
cbc.fit(train_features, train_target, cat_features=cat_columns)
catboost_preds = cbc.predict_proba(test_features)
Но если последнюю строчку кода поменять на:
catboost_preds = cbc.predict_proba(test_features[train_features.columns])То всё отрабатывает нормально.
Это ожидаемое поведение?
SK
Переслано от Luda Gordeeva
Добрый день!
Приглашаем вас посетить семинар “Absolute Model Embeddings + Random “Network”.
На семинаре обсудим задачу построения рекомендательной системы, рассмотрим имеющиеся подходы и их недостатки. Будет предложена новая модель, Absolute Model, которая демонстрирует сопоставимые результаты на различных публичных датасетах, из коробки работает с широкими категориальными признаками и требует небольшое количество проходов по данным при значительном росте их количества.
Докладчик: Андрей Гулин
Дата и время: 11-е февраля, 19:00-20:30
Заходите в Zoom: https://clck.ru/Rbv3x
Записи всех прошлых и будущих семинаров будут выкладываться здесь: https://youtube.com/channel/UCKYcMXUhucq50dUym-l3_jA
До встречи!
Приглашаем вас посетить семинар “Absolute Model Embeddings + Random “Network”.
На семинаре обсудим задачу построения рекомендательной системы, рассмотрим имеющиеся подходы и их недостатки. Будет предложена новая модель, Absolute Model, которая демонстрирует сопоставимые результаты на различных публичных датасетах, из коробки работает с широкими категориальными признаками и требует небольшое количество проходов по данным при значительном росте их количества.
Докладчик: Андрей Гулин
Дата и время: 11-е февраля, 19:00-20:30
Заходите в Zoom: https://clck.ru/Rbv3x
Записи всех прошлых и будущих семинаров будут выкладываться здесь: https://youtube.com/channel/UCKYcMXUhucq50dUym-l3_jA
До встречи!
SK
Андрей Гулин - создатель матрикснета, катбуста и многих других крутых вещей расскажет о своей новой идее 🙂
MG
привет! есть ощущение что CatBoostRegressor.predict как-то не особо параллелится. c thread_count=1 работает 4.3сек, а с thread_count=8 работает 3.5сек
AK
А данные в каком формате?