IG
Size: a a a
2021 December 07
В
ну вот это было первое, что попробовали. Ну разве что вместо одного Dense слоя над cls был сначала глобал эвредж пулинг над эмбедингами всех токенов и дальше один Dense слой с relu. Результат на выходе был прям ужасен
IG
так идея не в том, чтобы это взять как есть
IG
а в том, чтобы всю модель доучить
d
Тут +100
В
не замораживать веса берта?
IG
более того, BertForSequenceClassification ругнётся warning'ом при попытке использовать его без дооубчения
IG
и отмазка "у нас нет gpu" не катит, colab есть у всех, и его для таких задач достаточно
d
Без дообучения он где-то на уровне шума был
С дообучением, я бы на готовые блокноты на каггле глянул, чтобы, например, космический lr не пробовать
С дообучением, я бы на готовые блокноты на каггле глянул, чтобы, например, космический lr не пробовать
В
хм, вот вы о чём тогда... просто не в интернете попадались только примеры, где замораживались веса.
Наверное это будет глупый вопрос с моей стороны, но зачем нам тогда какие то предобученные модели? Почему бы сразу не учить с нуля, на своих текстах?
Наверное это будет глупый вопрос с моей стороны, но зачем нам тогда какие то предобученные модели? Почему бы сразу не учить с нуля, на своих текстах?
IG
потому что информация в весах модели при дообучении не особо-то затухает
и достоверно известно, что инициализация предобученнной моделью гораздо лучше случайной
и достоверно известно, что инициализация предобученнной моделью гораздо лучше случайной
IG
ну это типа самый важный краеугольный камень CV и NLP за последние 10 лет
d
Понадобится очень много текстов и с месяц десятком видюх пожужжать
В
понятно, спасибо большое.
IG
Я кстати надеюсь, что в примерах из интернета используется hf transformers и их же Trainer?
В
transformers
IG
тут скорее важна вторая часть вопроса
В
нет, трейнера не видел что то в примерах
IG
лучше его использовать, никаких лишних зависимостей
вот пример: https://gist.github.com/IlyaGusev/b83faab859d9edb13dd048572b2fcf11
вот пример: https://gist.github.com/IlyaGusev/b83faab859d9edb13dd048572b2fcf11