VS
Size: a a a
2021 October 19
МВ
Спасибо!
AM
Привет! А тут можно делиться ссылками на буткемпы и т.п.?
d
Кросс-энтропия?
UPD: Да, кросс-энтропия.
UPD: Да, кросс-энтропия.
TM
Спасибо ! Какой модуль смотреть ?
TM
Ух жесть, получается для задач классификации нельзя будет без колхоза посчитать MSE или MAE.. спасибо
d
Зачем вам MSE или MAE?
d
Это не задача регрессии
IG
При num_labels=1 там как раз MSE, если что. Иначе кросс-энтропия
IG
плюс теперь добавился "problem_type", которым можно регулировать лосс
TM
UPD почему вы не назвали MAE? разве она не будет устойчивее к выбросам?
IG
а почему это вопрос ко мне? :D
issue на гитхабе можно создать, если что
с точки зрения здравого смысла - MSE как раз больше штрафует за ошибки на выбросах и скорее всего чуть более устойчива в обучении
issue на гитхабе можно создать, если что
с точки зрения здравого смысла - MSE как раз больше штрафует за ошибки на выбросах и скорее всего чуть более устойчива в обучении
TM
Для меня вообще странно что они не сделали loss опциональным . Но я в мире DL совсем недавно так что видимо много чему придётся удивиться ) а к вам вопрос был уже вне либы и кода, а теоретический ))
IG
Ну ограничение по лоссу существует только в рамках AutoModelForSequenceClassification, можно у них взять просто тушку и достроить любую свою голову. Исторически сложилось, что transformers - это не про обучение моделей, а про применение готовых. У них Trainer-то совсем недавно появился.
DD
А этот loss и есть опциональный: если ты не передаёшь в модель labels, то он не вычисляется, и дальше ты его можешь вычислить как тебе угодно на основе logits, переданных моделью.
TM
Да , пожалуй
TM
Без лейблс? В таком случае он выполняет кластеризацию ?
DD
Нет, вообще ничего не выполняет. В этом случае модель просто выдаёт тебе чиселки, а ты уже сам решаешь, какой смысл им придать и как их оптимизировать.