Вот в этом вопрос, а так то да, все для этого есть.

Можно просто это делать по словарю/TF-IDF/TextRank/<тематические модели>/<любой другой метод выделения ключевых слов>

Поделитесь опытом как Т5 контролировать при "заговаривании"
Модель исправляет опечатки и ставит пунктуацию. В целом работает приемлемо. Но есть случаи когда происходит зацикливание и либо она генерирует дубли, либо просто ничего не делает, на выходе даёт текст один в один.
Пример - фраза с большим количеством числительных - "триста сорок шесть тысяч двести семьдесят три рубля", ещё такое происходит при повторе в тексте - "добрый день меня зовут антон добрый день меня зовут антон"
Подаю по 200 слов на инференсе.
Обучение было на такой же длине.

А параметры для генерации какие?

Beam_search 5

советую поиграться с параметрами no_repeat_ngram_size и repetition_penalty

У бим серча есть проблема в «зацикливании» периодическом, в зависимости от фреймворка есть альтернативы, вроде top k-sampling. Возможно, поможет улучшить результаты

🔫 Jerrica L. Sager кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
Al Dyachkov, @wadimiusz, @Spiralhead, @kasha131, @Orzhan
При поддержке Золота Бородача

Привет. Накидайте плиз сервисы или готовые решения чтобы из коробки можно было для текста получить теги. Как в блогах делают ручками. И да, нужно для eng

#qa #demo #nlp #pr
Всем привет!
Недавно искал QA модельку, обученную на SberQuAD, в итоге, нашел модель от Alexander Kaigorodov (https://huggingface.co/AlexKay) и мне она настолько понравилась, что решил сделать на ее основе демку 🤩:
http://demos.prokh.org/qa
Из интересного, есть поддержка контекста длиннее 512 bpe, правда без скользящего окна пока что.
Исходники👨‍💻: https://github.com/prohor33/qa-roberta-ru-saas
Если Вам понравится демка, поставьте плиз 🌟 репе, мне будет приятно ☺️

🔴  NER
А что сейчас  лучше всего работает с абревиатурами (сокращения кабельной продукции) ?
Spacy /  natasha / deepavlov  ?

Регулярки?

нее
 слишком много вариаций, ошибок  и корпоративных девиаций
 
пишут в заявках что угодно

по идее natasha лучший выбор

ты в deeppavlov разбираться дольше будешь, но в целом их оба проверить дело пары дней

Вообще заметил что первую что вторую на github не обновляли уже пару лет, у них всё хорошо?

Добрый день, коллеги. У нас есть задача по определению тональности комментариев. Ищем подрядчика. Просьба обращаться в личные сообщения.

спсб

natasha  
Commits on Oct 1, 2021

Ну это один единственный коммит в одной единственной функции, это не выглядит как развитие библиотеки