Вторая ссылка - стэнфордовский учебник. Новее

Я так подозреваю.

Не совсем. Появилось направление нейросетевой обработки текстов. Лингвистика без лингвистов и всё такое. Но базовые методы остались

Задачи бывают разные. Некоторые вещи принципиально не решаемы теми методами, которые популярны сейчас. Например анализ текста с позиции количества предложений, количество пассивных конструкций, повторения определённых частей речи и пр.

Я сейчас наверное скажу вещь, от которой у знатока NLP слезы будут на глазах, но вроде как успехи GPT-3 показывают, что весь лингвистический аппарат не очень то и нужен. Правильно приготовленная достаточно большая сетка сможет все правила самостоятельно выучить из языка и не надо никакого ручного анализа делать.

Анализ о котором я написал - это довольно типовые метрики анализа, например, резюме

На счёт GPT-3, не углублялся в детали. Но: требует наличия существенно объема оперативки; обучить самому - слишком дорого, а доучить под нужную предметную область - не факт, что получится.

Я не думаю, что подобные методы полностью вытеснят традиционные методы обработки текста. Они довольно дорогие в использовании, для начала. Даже при наличии предобученных моделей.

На счёт правил языка, кстати, есть одна фундаментальная проблема - изменение языка во времени. Не представляю как решают в GPT. Скорее всего, никак. А язык постоянно меняется. И правила могут стать неиспользуемыми лет через 100…. На литературном языке 18-го века мы уже не общаемся.

У языка есть темпоральность, которую следует учитывать при загрузке источников. По-моему, этот факт просто игнорируется, а нейросеть обучается просто на актуальной статистике по всем найденным текстам

Это к тому, что лингвисты, которые словари или правила готовят, эти моменты учтут

А когда-то лингвисты мечтали формальными грамматиками язык покрыть )

Ну попытки то есть. Например вокруг сообщества https://opencog.org/ построить автоматическое средство построения грамматики языка.

http://aigents.com/papers/2020/InterpretableLanguageProcessing2020.pdf

Хочется высказаться, но так как о предметной области у меня знание типичного прохожего с улицы, то промолчу 😊))))

В любом случае, если будут какие-то наработки и где-то что-то можно будет поправить/оптимизировать/доработать, то будет интересно помочь.

Просто возвращаясь к тому, что я говорил вначале - просто чтение статей/книг недостаточно. Вот например в книжке "АВТОМАТИЧЕСКАЯ ОБРАБОТКА ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ И КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА" есть целая Часть V глава 2 про методы классификации без учителя. Ну и как бы в Julia есть Clustering.jl в котором все эти методы реализованы. Что с ними делать, и как это может помочь в практической задаче NLP - неясно.

Практические наработки - это уже решение конкретных задач. Желательно с внедрением. Начиная со студенческих курсовых. Но даже с этим сейчас пока ещё проблема.

Да, я давно говорю, что лингвистику нужно на свалку отправлять. При этом там ещё и такие материалы есть, которые масла в огонь подливают (в них нейро-символические модели уступают чисто нейросеткам, то есть символьные представления, которые вроде как помогают — вот не помогают!): https://www.deepmind.com/research/publications/Object-based-attention-for-spatio-temporal-reasoning-Outperforming-neuro-symbolic-models-with-flexible-distributed-architectures

Если что, я тоже не лингвист. Просто первая область деятельности, в которую я погрузился, была область информационно поисковых систем и полнотекстовый поиск + сопутствующая обработка.

Вообще, кто хочет обзоров свежих по обсуждаемым вопросам универсальной алгоритмики aka AI (там, правда, не поминается язык), глядите https://ailev.livejournal.com/1548016.html

Интересный туториал, нашёл его случайно в твиттере, не видел этих ребят в обычных каналах.

https://htmlpreview.github.io/?https://github.com/probcomp/Genify.jl/blob/main/tutorial/tutorial.html

Там начинается про Probabilistic Programming, но потом они переходят на то, как можно модифицировать код функции с помощью IRTools и это конечно очень интересно. Вообще, помимо обычного языка в Джулии есть ещё этот огромный пласт вещей типа Cassette которые позволяют совершенно фантастические вещи делать. Когда ты пишешь один код, а он потом переписывается во что-то другое и обучения решать задачи, которых раньше решать не умел.