Всем привет!
Подскажите, каким инструментом работать со следующей задачей:
1) Есть большая база марок и моделей транспорта (не только авто, но и водный, грузовой, аэро)
2) Есть множество очень плохо оформленных текстовых строк (natural language), где этот транспорт перечислен, при этом может быть много мусора, может быть транслит вместо английского названия, и другие ошибки, опечатки, года выпуска, …
3) Нужно в каждой строке находить эти модели, причем даже если их несколько

Сейчас работаем с nltk, но приходится все опечатки/транслит и прочие мерзости отрабатывать чуть ли не вручную, плюс получается огромный словарь, который со временем стал весить непозволительно много.

Может быть я упустил какой-то инструмент для поиска такого типа entity в тексте?
Есть какой-то готовый инструмент, который можно было бы обучить искать подобные записи с вариативностью написания?
Подскажите так же хороший туториал по построению метрики результативности в таких задачах.

Много данных?

Если не много, забей и найми студентов)

много
несколько миллионов

это уже проходили)
нужна автоматика

это задача NER, подходов много. нейросети работают лучше всего, но им надо много размеченных данных.

Найми чтобы разметить датасет.  Альтернатива - Толока от Яндекс

Толока дороже

Это да, понятно

Спасибо

Но для обучения NER для каждой модели/строки нужен пример использования?

А тут есть огромный список и часть моделей не будет использована никогда (примеры руками/скриптом создавать?)

а мне кажется, нужна программа для нормализации текста, которая бы исправляла мелкие опечатки и транслит, а потом регулярные выражения

нет, не обязательно.
напарсить данных с форумов — получить вектора.
модель NER поверх векторов будет работать с неизвестными моделями.
но дополнительные примеры для сложных случаев будут улучшать модель.

тренировать NER как стрелять из пушки по воробьям тут

Когда то давно я решал подобную задачу. В Pullenti есть специальный тип сущности - товарная позиция (GoodReferent), которая для краткого описания товара разбивает его на  атрибуты (GoodAttributeReferent) - тип товара, собственное имя (если есть) с вариантами написания на кириллице-латинице, номера, модели и пр. Потом эти элементы ищутся в текстах и можно привязывать. Причём никакого обучения не надо, как и ручного задания - всё на основе морфологии и базовых правил. Там и транслитеральная замена выправляется и пр.

nltk поэтому и используется

проблема в том, что нужна нормализация всевозможных видов записи моделей (слитно буквы+цифры, через дефис, тире, через пробел) и учет модификаций полного написания моделей (перестановка любых составный частей местами, слитность)

Я это делал в Pullenti. Была задача - для интернет-магазина привязывать описания товаров в чатах к их аналогам в базе. Разумеется, написания могли сильно отличаться от канонических.

супер!
спасибо за этот совет