TM
есть такое эпизодически
Size: a a a
2021 October 22
V
Раз в два дня примерно
V
Недавно вышла модель бьющая gpt3 по куче даунстрим тасков T0pp в не в частности есть таск генерации вопроса по тексту, как раз что вам нужно. Но также видел и другие решения, это модель большая
https://huggingface.co/bigscience/T0pp
https://huggingface.co/bigscience/T0pp
ВК
А модель на английском? Аналогичные модели,работающие на русском есть?
V
Не видел
DD
Ну, моя https://huggingface.co/cointegrated/rut5-base-multitask может вопросы задавать.
Но стоит её ещё пофайнтюнить на датасете sbersquad http://files.deeppavlov.ai/datasets/sber_squad-v1.1.tar.gz, т.к. у этой модели задавание вопросов - только один из скиллов, и, если хочется на нём сконцентрироваться, лучше иметь специализированную модель.
Но стоит её ещё пофайнтюнить на датасете sbersquad http://files.deeppavlov.ai/datasets/sber_squad-v1.1.tar.gz, т.к. у этой модели задавание вопросов - только один из скиллов, и, если хочется на нём сконцентрироваться, лучше иметь специализированную модель.
ВК
Мария,спасибо огромное!!!
Т.е. эти работы пока не выложены в открытый доступ на гитхабе,я верно понимаю? ввиде отдельного кода?
Т.е. эти работы пока не выложены в открытый доступ на гитхабе,я верно понимаю? ввиде отдельного кода?
М
не знаю) я сама интересуюсь этим вопросом, но то что видела отправила
🐙
Привет! В формате CONLL 2003 как-то фундаментально зашито приклеивать кавычки к сущностям? Выгружаю из labelstudio NER разметку в формате CONLL 2003, кавычки входят в состав слова, хотя спан явно размечен без кавычек. Это баг, или так надо?
СУ
похоже, это вопрос к labelstudio, а не к CONLL
🐙
Спасибо, пойду к ним в Slack
UPD. Нашёл конвертёр и несколько issue для него. Под капотом там nltk WhitespaceTokenizer, оттого такие результаты
https://github.com/heartexlabs/label-studio-converter/blob/master/label_studio_converter/converter.py
UPD. Нашёл конвертёр и несколько issue для него. Под капотом там nltk WhitespaceTokenizer, оттого такие результаты
https://github.com/heartexlabs/label-studio-converter/blob/master/label_studio_converter/converter.py
A
Всем доброй приятной пятницы!
Прошу подсказать если кто знает.
Обучил Deeppavlov Text QA на своих данных.
Модель выдает ответы, но очень короткие, в несколько слов, хотя в скормленных данных ответы гораздо более полные.
Как это тюнится?
Прошу подсказать если кто знает.
Обучил Deeppavlov Text QA на своих данных.
Модель выдает ответы, но очень короткие, в несколько слов, хотя в скормленных данных ответы гораздо более полные.
Как это тюнится?
AS
как можно видеть на примере Demo, оно в качестве ответа берёт подходящую фразу из текста, к которому вопрос. Так, что, боюсь, никак.
Разве что просить GPT "развернуть мысль".
Разве что просить GPT "развернуть мысль".
A
понял, благодарю)
A
Спасибо
V
Тюнится, но стек нейросеток надо брать другой и обучать на другом типе вопросов и ответов. Это наше решение на BART
A
а какой стек надо брать?
Ваши результаты выглядят впечатляюще - то что надо.
Ваши результаты выглядят впечатляюще - то что надо.