AY
Вобщем, описание самой задачи: есть у меня таблица с 120к рекордов
Size: a a a
2020 April 10
АО
(рекорды - это записи по русски да? То бишь строчки?)
AY
(рекорды - это записи по русски да? То бишь строчки?)
Да, спасибо за уточнение
AY
Некоторые слова не знаю
AY
Допустим, в таблице есть 1 колонка - имя пользователя
AY
То есть 120к имен
AY
Мне нужно сгруппировать эти данные, например, узнать количество пользователей с именем Влад, количество с именем Андрей и т.д.
AY
Но проблема в том, что эти имена заполняются пользователями как они заходят - кто-то пишет Влад, кто-то - Vlad, кто-то вообще непонятную дич по типу dgdfxx11
AY
Моя задача - обучить нейронную сеть, которая сможет классифицировать имена пользователей в нормальные имена
AY
Сначала я попытался сделать это через обычные if
АО
Я видел одну такую штуку (точнее описание).
Для сеток наверное сложновата задача.
В общем в том варианте, который я видел решалось через приведение к фонетическим записям с последующим fuzzy searchи (ближайшие по Левенштейну или каким-то другим подобным метрикам).
Для сеток наверное сложновата задача.
В общем в том варианте, который я видел решалось через приведение к фонетическим записям с последующим fuzzy searchи (ближайшие по Левенштейну или каким-то другим подобным метрикам).
АО
Могу в терминологии немного ошибаться, так как читал на английском.
AY
Только вариаций имени с частью "влад" есть: влад, владик, владос, владюха, влада, владислава, владислав, владочка, владимир, в
АО
Ага.
Это решается обычными n-граммами + xgboost/random forest
Это решается обычными n-граммами + xgboost/random forest
АО
Тебе же по сути достаточно корень слова выделить.
AY
И вот по этому я решил сделать нейронную сеть: ради интереса
AY
Тебе же по сути достаточно корень слова выделить.
А что если Женя и Евгений?
AY
А если имя написано с ошибкой
AY
А если VлАDos?