изобретал свой велосипед в формате word segmentation.  Скормил в него примерно 2,5млн слов на основе словарей русского языка.  Все было хорошо, до момента очередного теста. На вход "гореотума" на выходе получил "горе о тума". Заглянул в словарь, там реально есть слово "тума". С учетом того, что я в настройках указал приоритет нахождения минимального числа слов, то у результата "горе о тума" будет приоритет выше чем "горе от ума" т.к. найдено 2 а не 3 вхождения.  p.s. "тума",  появилось в словаре после заливки в него списка населенных пунктов, и в данном случае это гео в России ((   Это конечно частный случай, но думаю что таких "результатов", якобы корректных будет море...  Как поступить?

наверное, нужно усложнить приоритетность, дескать, есть устаревшие слова\собственные и другие, пусть они как-то понижают вес варианта...первое, что в голову пришло

язык богатый и может быть масса фраз, комбинация слов в которых может порадовать. Я конечно думал, что можно слепить отдельную коллекцию устойчивых фраз и вырожений + Крылатые слова, но это будет частичное решение

возможно стоит копнуть в сторону выражений - считать, горе от ума одним токеном, грубо говоря

Мб взять большой корпус, посмотреть там частотность слов и от нее отталкиваться?

у меня "проект" под конкретную аудиторию, как правило это школьники. Пишут с ошибками, слитно и прочее...  Вангую вариант "отумагоре" и это не спасет

А в выражении "горе о тума", слово"тума" ведь имеет род какой-то, да? Т.е. правильно ли я понимаю, что если, например, думать о посёлке под названием "тума", то получится "думать о тумЕ"?) может быть, каким-то образом посмотреть на грамматику выражения, но если ошибки, то это, конечно, вряд ли поможет

как пример, посмотрел вариант как обработает запрос яндексспеллер - сравнил вот такой запрос "горе отума",  получил "горе атум", что для яндекса не айс

Тебе точно нужно гипотезы ранжировать какой-нибудь языковой моделью; можно даже очень примитивной, но знающей, что "от ума" встречется чаще, чем "о тума".
Причём чаще по двум причинам: мало того, что Тума - редкое слово, так ещё и "о Тума" вряд ли скажут, а скажут "о Туме".

Я вот почти-сегментацию пробовал сделать на основе языковой модели на счётчиках буквенных n-gramm. И такое уже зашло: habr.com/ru/post/346578/ . А если модель нормальную сделать, знающую о словаре и о совместимости слов друг с другом, то точно всё будет хорошо.

👍

где взять частотность слов?

В каком-нибудь большом корпусе, типа Тайги.
Плюс нужен какой-то костыль для слов, которых нет в словаре, но которые адекватно собираются из морфем (или просто n-грамм, как у меня).

как вариант, смотреть несколько результатов и в каждом из них складывать частоты слов, чтоб получить сумму = частота фразы. Далее сравнивать "частоты фраз", та что max будет результатом. Пока так я вижу...

Более правильный вариант - не сравнивать, а перемножать. И не абсолютные частоты, а доли (т.е. деленные на общее число слов в корпусе), возможно, как-нибудь сглаженные.
Почему это полезно: фраза, в которой все слова умеренно-частые, будет предпочтена фразе, где есть одно суперчастое слово, и одно несуществующ ее.
Почему это логично: получая вероятность фразы как произведение вероятностей слов, ты получаешь настоящую языковую модель  - наивную (слова полагаются независимыми друг от друга), но таки обладающую всеми хорошими свойствами вероятностных моделей.

согласен

А сама задача - проверка контрольных или чот такое?)

задача - понять что юзер хотел найти в большом книжном магазине

а, сори

А точно сегментация нужна в принципе? Если задача найти книжку по названию, даже корявому, то может быть в разы эффективнее взять языковую модель, дообучить и сравнивать вектора запроса и книг

В худшем случае можно искать по всем гипотезам