OO
когда я этим пользовался я с ходу не нашел и написал свой скриптик надстрйоку над model.predict_proba()
Как сложно , но ведь сделана эта функция , наверное для применения в модели ?
Size: a a a
2018 December 30
OO
https://tech.yandex.com/catboost/doc/dg/features/training-on-gpu-docpage/#training-on-gpu - here is an example
Может это border_count ?
OT
Как сложно , но ведь сделана эта функция , наверное для применения в модели ?
Да нет, не сложно: буквально две строчки с if
OO
Кстати чтобы классы сбалансировать это функция class_weights? Или она не для этого ?
OT
Нет она не для этого
OT
Или да...
OT
Я ошибся сначала
OT
Ну она косвенно балансирует классы, на самом деле просто даёт разные веса объектам разных классов, поэтому при обучении модель сильнее штрафует за объекты того класса в котором меньше объектов.
OO
Ну она косвенно балансирует классы, на самом деле просто даёт разные веса объектам разных классов, поэтому при обучении модель сильнее штрафует за объекты того класса в котором меньше объектов.
Значит более менее подойдёт , для меня разбивка руками - мучение , так как куча df
OO
И кстати для cv есть Настройка stratified=True для этого же
OT
И кстати для cv есть Настройка stratified=True для этого же
Этот параметр забоится о том чтобы во все фолды попало одинаковое число объектов каждого класса
MK
А надо ли для вероятностей балансировать классы? Дисбаланс это свойство данных если собраны верно то с дисбалансом ничего делать не нужно.
MK
Кстати чтобы классы сбалансировать это функция class_weights? Или она не для этого ?
Выше вроде писал что нужны вероятности
OT
А надо ли для вероятностей балансировать классы? Дисбаланс это свойство данных если собраны верно то с дисбалансом ничего делать не нужно.
Насколько я понимаю: за время обучения, если классы не сбалансированны, то модель модель научится определять один из классов лучше чем другой, ТК сдвиг градиента будет чаще происходить в сторону одного из классов
OT
Поэтому нужно назначить веса объектам разных классов чтобы избавиться от этого дисбаланса во время обучения
MK
Ну если класс действительно редкий и нам нужны вероятности пусть они будут в диапазоне например 0.05-0.1, нам по сути так надо. Или CatBoost обязательно баланс нужен для нормальной работы?
MK
Я с помощью катбуста решал задачу мультиклассификации на 150 классов там о балансе речи даже не идёт и все норм было с вероятностями
OT
Я с помощью катбуста решал задачу мультиклассификации на 150 классов там о балансе речи даже не идёт и все норм было с вероятностями
Вполне возможно что результат работы был бы лучше если бы классы были сбалансированы
MK
Ну может быть. Если кто то из яндекса прокомментирует было бы круто.
OT
Еще было бы круто если скинули сюда статью про дисбаланс классов и как с этим бороться