E
Ну там не так все плохо, но может быть полное название, может сокращенное. Может еще в скобках что-то дописать
Size: a a a
2021 October 10
ZS
Согласен, поэтому эта задача хоть и может быть решена кликом, но все же не совсем полноценно только им, если там сложный набор поиска и алгоритмов нужно накладывать, то придётся в другие решения смотреть, которые созданы под задачи data quality
MD
Практически решал эту задачу. Левенштайн хорош, но на практике "ни о чём", тк у вас нет эталона (правильного ответа).
У меня не было времени искать идеальный ответ, поэтому был задействован сервис Дадата (гуглите). Его плюс в том, что любой адрес он приводит к эталонному (правильному) и дает оценку достоверности этого приведения.
На клике это не сделать, мы использовали питон на этапе очистки данных.
У меня не было времени искать идеальный ответ, поэтому был задействован сервис Дадата (гуглите). Его плюс в том, что любой адрес он приводит к эталонному (правильному) и дает оценку достоверности этого приведения.
На клике это не сделать, мы использовали питон на этапе очистки данных.
E
я поняла, спасибо.Значит в моем случае меппинг сейчас.
E
эта функция не везде помогает
E
LevenshteinDist('Korea, Republic of (South Korea)','Korea, Dem. Rep.')
E
LevenshteinDist('Korea, Republic of (South Korea)','Korea, Rep.')
E
выдаст одинаково
E
хотя в первом случае южная корея,а во втором северная
MD
угу. А еще какое из этих двух написаний верное?
E
Korea, Democratic People's Rep. (North Korea)
Korea, Republic of (South Korea) - это данные справочника, а в данных вот так:
Korea, Republic of (South Korea) - это данные справочника, а в данных вот так:
E
Korea, Dem. Rep.
Korea, Rep.
Korea, Rep.
ZS
У вас 1 задача исправить ошибки написания, вторая привести записи в единый вид
ZS
В данном случае не важно, какая Корея, важно чтобы Карея, Корея, Кереея и прочее были указаны как Корея
ZS
А далее можно просто мапить
ZS
10 уровненный аплаймап в аплаймапе :)
E
Да понятное дело,что можно просто мапить, хочется без этого обойтись. Без мапинга
ZS
Ну так решения все равно не простые в стиле тык и тык и готово, можно использовать набор index, subfield, len, if, substrincount и прочие текстовые функции в различных комбинациях, правил так однажды адреса введённые руками разными способами. Либо подключать всякие питоны и подобное и использовать DQ алгоритмы, либо, как писал Максим, использовать сторонний сервис для этого созданный.
ZS
А ещё, весьма занятный вариант и довольно хардкорный, править все руками в экселе:)
E
😄👍