PG
В основном работают вокруг википедии, хотя это необязательно
Size: a a a
2021 November 03
ВК
спасибо еще раз за небольшую лекцию!!
AZ
Здравствуйте! Не подскажите классификация технической спецификации тендерной документации насколько сложно будет классифицировать в два класса "Разработка ПО" и "Остальное"? Тест бывает довольно большим, умею только усреднять эбмеддинги по предложений. В какую сторону копать? Может есть предобученные модели, которые можно дообучить. Благодарю
AM
Тетрадок в сети с готовым кодом лежит куча, т к задача text classification одна из самых «классических».
Разве что в вашем случае к поисковому запросу нужно добавить long text, но я бы на вашем месте начинал с изучения кода для «просто» классификации.
Разве что в вашем случае к поисковому запросу нужно добавить long text, но я бы на вашем месте начинал с изучения кода для «просто» классификации.
AZ
Спасибо!
AM
Вот первые 2 ссылки в поисковой выдаче по запросу "fine tune huggingface transformer model for text classification":
https://huggingface.co/transformers/custom_datasets.html
https://www.thepythoncode.com/article/finetuning-bert-using-huggingface-transformers-python
https://huggingface.co/transformers/custom_datasets.html
https://www.thepythoncode.com/article/finetuning-bert-using-huggingface-transformers-python
AZ
Я сама собираю данные, скорее всего думаю для нейронок будет мало.
AM
А как много данных есть?
Просто если всего 2 категории, то может завестись и на небольшом датасете.
Просто если всего 2 категории, то может завестись и на небольшом датасете.
AZ
200 доков искомой категории и 500 остальных.
2021 November 04
AM
Коллеги, а не встречал ли кто-то longformer или reformer или какую другую модель для длинных текстов обученную на русском корпусе? Или хотя бы мультиязычную?
DD
А насколько длинные тексты?
У меня сейчас варится rubert-tiny на 2000 токенов.
У меня сейчас варится rubert-tiny на 2000 токенов.
DD
Ну и какая нужна модель - энкодер, декодер, или seq2seq?
AM
Есть ощущение, что 2к токенов вполне может хватить! )
В крайнем случае обрезать буду или из середины или с конца брать. Но все равно в сравнении с 512 это уже сильно лучше.
В крайнем случае обрезать буду или из середины или с конца брать. Но все равно в сравнении с 512 это уже сильно лучше.
AM
Мне нужно решать задачу схожести текстов.
BZ
Коллеги, привет!
Задача такая - исправлять склонение, пропущенные предлоги и капс. "Купить полиэтилен москва" -> "Купить полиэтилен в Москве"
Есть ли готовые решения на эту тему или надо собирать все по частям?
Задача такая - исправлять склонение, пропущенные предлоги и капс. "Купить полиэтилен москва" -> "Купить полиэтилен в Москве"
Есть ли готовые решения на эту тему или надо собирать все по частям?
DD
https://huggingface.co/cointegrated/rut5-small-normalizer я обучал ровно на эту задачу
DD
Значит, нужен энкодер)
Попробуй https://huggingface.co/cointegrated/rubert-tiny2.
Я её в явном виде не обучал энкодить длинные тексты в вектор, но для предложений она прям хорошие эмбеддинги выдаёт, а на длинных текстах неплохо может в MLM. Поэтому, думаю, и на длинных текстах она схожесть худо-бедно сможет оценивать.
Хотя в моём личном опыте для длинных текстов и bag of words позволяет сходство оценивать неплохо.
Попробуй https://huggingface.co/cointegrated/rubert-tiny2.
Я её в явном виде не обучал энкодить длинные тексты в вектор, но для предложений она прям хорошие эмбеддинги выдаёт, а на длинных текстах неплохо может в MLM. Поэтому, думаю, и на длинных текстах она схожесть худо-бедно сможет оценивать.
Хотя в моём личном опыте для длинных текстов и bag of words позволяет сходство оценивать неплохо.
AM
Спасибо!
A
Здравствуйте. Подскажите, пожалуйста, а какие есть общедоступные корпуса для задачи НЕР для русского? Нашел большой корпус Наташа, но он я так понимаю размечен полуавтоматом. Есть что то типа аналога CoNNL для английского (размечен людьми и небольшого размера)?
N
вроде были таски разные на мультиязычный NER, там может быть (вроде из последних дорожек на Balto-Slavic NLP было что-то, мне кажется)