Наверное я не очень хорошее прилагательное выбрал . Скорее вообще не несущие какого то смысла (н-р «ку-ку» , «эй, епта, отвечай», «алё») + идиотские и неприличные предложения которые пользователи могут отправлять ассистенту
список дискурсивных выражений, наверное, можно найти в разметках корпусов. Вот тут есть какие-то дискурсивные формулы: https://pragmaticon.ruscorpora.ru/filters. А именно про разметку диалогов с помощниками не знаю.
здравствуйте, подскажите, у вас получилось heideltime развернуть? какой репо использовали? у меня что-то ни одна не отрабатывает нормально. вроде поставил - запускаю код, в колабе вылетает (перезапускается) среда, пытаюсь понять в чем дело...
вывод Г Москва, <TIMEX3 tid="t2" type="DATE" value="XXXX-09-25">Двадцать пятое сентября</TIMEX3> Две тысячи двадцатого <TIMEX3 tid="t3" type="DURATION" value="P1Y">года</TIMEX3>
Народ, кому-нибудь попадался фильтр цензуры для случаев транслита и визуальной замены? Чтобы ловило вещи типа xyi или hernya или ур0д.. С обычным русским то проблемы в целом нормально решаются, а вот для этого что-то завис.
расстояние левенштейна или своя похожая метрика решает вопрос. Всякие такие уловки ен пройдут, хотя видел что во многих системах проходят, видимо разрабы не знают про этот метод))