$
А не я ж just4fun и учусь пока только
Size: a a a
2020 June 29
DD
А из имеющихся я бы посмотрел ещё на датасет DaNetQA, недавно собранный коллегами для https://russiansuperglue.com/tasks/. Он узконаправленный, зато качественный.
$
О, посмотрю сейчас
$
Там да и нет ответы?
$
То есть вопросы подразумевают ответы да и нет?
$
Название такое натолкнуло на мысль
$
Еще не скачал
$
Полезный датасет
$
Там еще текст есть
DK
Мне нужно классифицировать вопросы, чтобы дать на них краткий ответ
Если вопрос был какая высота у биг бена то в ответ число
Если как мне найти девушку то в ответ чтение статьи про это
Если вопрос был какая высота у биг бена то в ответ число
Если как мне найти девушку то в ответ чтение статьи про это
а могут задавать не-вопросы? мы уверены, что всегда задаются вопросы?
$
Можно оценить например deeppavlovский squad
$
а могут задавать не-вопросы? мы уверены, что всегда задаются вопросы?
Например
DK
Например
если уверены, то поисковик зайдет, да
$
Я пока делю фразы на 4 категории
Болтание ни о чем (smalltalk)
Команды
Поисковые вопросы
Факты о чем-то
Болтание ни о чем (smalltalk)
Команды
Поисковые вопросы
Факты о чем-то
DD
Можно оценить например deeppavlovский squad
Ну squad как раз толокерами генерировался
К
Не знаете где взять датасет поисковых вопросов
Типа например
Где живут лемуры
Где обитают обезьяны
Где родился Майкл Джексон
Где находится город Астана
Где живет Киану Ривз
Где мне взять денег
Где достать побольше травы
Где найти хорошую девушку
Где мне найти работу
В каком городе стоит статуя свободы
В какой стране говорят на английском
В какой стране все носят юбки
В какой стране нет войны
Типа например
Где живут лемуры
Где обитают обезьяны
Где родился Майкл Джексон
Где находится город Астана
Где живет Киану Ривз
Где мне взять денег
Где достать побольше травы
Где найти хорошую девушку
Где мне найти работу
В каком городе стоит статуя свободы
В какой стране говорят на английском
В какой стране все носят юбки
В какой стране нет войны
Предлагаю seo-подход
1) парсим сайт вопрос-ответов, берем вопрос (обычно это title+хвост или h1)
2) фильтруем h1 по наличию вопросительных слов (можно и модельку навернуть вопрос это или нет, если есть лейблы true)
3) затем в wordstat получаем точную частоту (это с оператором ковычки)
4) оставляем только запросы , что показатели частотность.
1) парсим сайт вопрос-ответов, берем вопрос (обычно это title+хвост или h1)
2) фильтруем h1 по наличию вопросительных слов (можно и модельку навернуть вопрос это или нет, если есть лейблы true)
3) затем в wordstat получаем точную частоту (это с оператором ковычки)
4) оставляем только запросы , что показатели частотность.
$
Предлагаю seo-подход
1) парсим сайт вопрос-ответов, берем вопрос (обычно это title+хвост или h1)
2) фильтруем h1 по наличию вопросительных слов (можно и модельку навернуть вопрос это или нет, если есть лейблы true)
3) затем в wordstat получаем точную частоту (это с оператором ковычки)
4) оставляем только запросы , что показатели частотность.
1) парсим сайт вопрос-ответов, берем вопрос (обычно это title+хвост или h1)
2) фильтруем h1 по наличию вопросительных слов (можно и модельку навернуть вопрос это или нет, если есть лейблы true)
3) затем в wordstat получаем точную частоту (это с оператором ковычки)
4) оставляем только запросы , что показатели частотность.
Хорошая идея.
DD
Я пока делю фразы на 4 категории
Болтание ни о чем (smalltalk)
Команды
Поисковые вопросы
Факты о чем-то
Болтание ни о чем (smalltalk)
Команды
Поисковые вопросы
Факты о чем-то
О, кстати, что касается запросов к голосовому помощнику: часть запросов к Алисе прорастают в вордстат. И их тоже можно попробовать отфильтровать)
$
О, кстати, что касается запросов к голосовому помощнику: часть запросов к Алисе прорастают в вордстат. И их тоже можно попробовать отфильтровать)
Интересно а Алису саму кто-нибудь парсил имитируя диалог
$
Программно