t
всё к этому обычно сводится
Size: a a a
2020 October 11
t
сложность заключается в d-мерном представлении этого ...гм... всего
K
t
возможно, тебе будет проще потыкать нейронки или всякие алгоритмы кластеризации
K
пока я смотрю на такое:
1. достать из исходного текста токены
2. убрать все непроизносимые символы
3. бахнуть лемматизатором на полученное и на транскрипт
4. (возможно) убрать стоп-слова
5. скормить полученное диффу
1. достать из исходного текста токены
2. убрать все непроизносимые символы
3. бахнуть лемматизатором на полученное и на транскрипт
4. (возможно) убрать стоп-слова
5. скормить полученное диффу
t
блин, забыл как назывался поиск в базах по созвучности
t
soundex, ага
t
фонетические алгоритмы...в принципе, если для слов сигнатуры составить и искать бы по сигнатурам звучания
t
угу, я ещё на хабре глянул
c
Minoru
утро!
утро!
t
но от мусора он не спасёт, наверное. Зато можно взять последовательность метафонных сигнатур и сравнить с другой последовательностью, учитывая возможность мусора +- 1 сигнатура, например. Получим какой-то процент похожести
FO
Minoru
утро!
утро!
Утро!
t
или вообще на всё предложение бахнуть
g
Minoru, фортраноутро!
t
puts RussianMetaphone::process("Мальденштам") # => малдинштамэто, конечно, ппц
С учётом того, что правильно будет "Мандельштам"
t
и оно даже не соспоставится
K
оба источника можно обработать
O
процкий
t
так придётся все возможные ошибки учитывать для русского быдло-языка