SМ
Вроде можно
Size: a a a
2021 December 14
IG
(а ещё там линала страниц на 50)
ГZ
а text - это что за задача именно?
IG
Вся эта табличка - это lra бенчмарк, https://paperswithcode.com/dataset/lra
IG
Конкретно Text - классификация и близость документов
ГZ
понятно, спасибо
IG
Я вообще удивлён, что вокруг s4 так мало хайпа. С моей точки зрения это тупо убийца трансформеров, судя по циферкам
ГZ
эхх, просто лстмка какой то романтичной казалась с её идеей о долговременной памяти, а трансформеры какие бездушные
ГZ
А вы проверяли её на задачах по классификации текстов? Сравнивали с бёртом?
IG
Нет, я о ней в прошлую среду узнал :) Но не верить результатам у меня оснований нет, да и код открыт
ГZ
а её так же, нужно сначала натренировать на гиганском корпусе, а потом фаин тюнить под конкретную задачу и корпус? Или сразу на конкретном корпусе учил?
Или в современном nlp теперь всё делается через трансфер лёрнинг?
Или в современном nlp теперь всё делается через трансфер лёрнинг?
IG
А вот хз, насколько это для неё работает. Авторы точно без предобучения тестили
IG
А вот и первые попытки воспроизвести, https://github.com/HazyResearch/state-spaces/issues/3
ГZ
будем наблюдать)
2021 December 15
ZP
Кто нибудь может дать статью по no reapet ngram size. Как он реализуется?
V
Есть вопрос по вашей модели Барт https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta
Учим ее но она падает с ошибкой. Используем либу happytransformer (это надстройка над Хагинфейс transformers), тот же код и датасет для обучения Сберовской русской ruT5 работает на обучение, а вот с Бартом падает.
Может подскажете в чем дело, вот полный трейс ошибки:
https://pastebin.com/6Zw1sCBS
Падение в этом месте:
--> 104 remove_columns=["input", "target"],
и итоговая ошибка
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'
Учим ее но она падает с ошибкой. Используем либу happytransformer (это надстройка над Хагинфейс transformers), тот же код и датасет для обучения Сберовской русской ruT5 работает на обучение, а вот с Бартом падает.
Может подскажете в чем дело, вот полный трейс ошибки:
https://pastebin.com/6Zw1sCBS
Падение в этом месте:
--> 104 remove_columns=["input", "target"],
и итоговая ошибка
TypeError: int() argument must be a string, a bytes-like object or a number, not 'NoneType'
IG
Ох, это как будто бы в последних версиях transformers появилось. Оно ещё до запуска модели падает, на этапе токенизации. Нужно при загрузке токенизатора указать src_lang="en_XX", tgt_lang="ru_RU". На обычный инференс с правильным токенизатором это не влияет.
V
Спасибо, попробуем.
Кажется вы предлагаете использовать не версию 4 трансформерс, а более раннюю? Мы просто так и делаем в других задачах, тк генератор в 2.8.0 версии почему-то лучше бывает
Кажется вы предлагаете использовать не версию 4 трансформерс, а более раннюю? Мы просто так и делаем в других задачах, тк генератор в 2.8.0 версии почему-то лучше бывает
IG
Да нет, я предлагаю явно в from_pretrained токенизатора языки указать. Либо уже просто скачать модель заново, я там конфиг уже поправил: https://huggingface.co/IlyaGusev/mbart_ru_sum_gazeta/commit/56aba7873fb373f9324f3e4c3880eccbf20c316d
А
Ребята, простите, если оффтоп. Сам новичок в теме. Нужен человек на небольшую задачу - составить список слов с ранжированием по частоте употребления. Подскажите, где можно поискать.