А похожие по тексту нам выдаст метрика близости...
https://en.wikipedia.org/wiki/String_metric

Я подумаю еще раз над данным алгоритмом. Если данное сообщество позволит создавать бесконечное количество вопросов,то с утра задам=)))

Спасибо огромное за обучение новой темой!!!

Я бы смотрел не на диффы между строками, а на какие-то чуть более глубокие представления текста.
Например, на какие-нибудь синтаксические деревья, ибо они при правильном сравнении могут быть для двух похожих задач практически идентичны.
Самое простое - деревья зависимостей из spacy или Наташи. А можно вообще упороться и привести тексты в какую-нибудь семантическую форму типа AMR (правда, парсеров AMR для русского пока нет).

Мне таки придётся проходить курс по графам)

тогда сразу у меня вопрос -где в вышеприведенных задачах синтакические деревья?

Как я понял, предлагается сравнивать вот это, игнорируя средний столбик вообще.

Выкинув несущественные части речи и т.п. (тот самый случай, когда т.п. обозначает, а глубже я и сам не знаю)

У меня такой вопрос - какой то учебник/курсы кто то может посоветовать?

https://web.stanford.edu/~jurafsky/slp3/ - библия всея NLP, en
https://stepik.org/course/54098/syllabus – приятный курс от Самсунга по нейронкам, ru
https://stepik.org/course/1233/info - курс по донейронной компьютерной лингвистике, ru
https://lena-voita.github.io/nlp_course - курс-энкциклопедия Лены Войты, en

У меня вопрос -Лейн, Хапке, Ховард. Обработка естественного языка в действии (2020)

Хорошая книга?

Ни одна книга по АОТ, написанная англоязычными авторами, непригодна в отношении русского языка!

Ваши рекомендации?

Для русского есть https://www.google.com/url?sa=t&source=web&rct=j&url=http://sz.ru/parser/&ved=2ahUKEwiKrNCtrZ7zAhWLuYsKHSfdDYQQFnoECAMQAQ&usg=AOvVaw1HwzMUYScu97DB5wYuOx4S

https://www.google.com/url?sa=t&source=web&rct=j&url=https://nlpub.ru/Link_Grammar_Parser&ved=2ahUKEwiKrNCtrZ7zAhWLuYsKHSfdDYQQFnoECBsQAQ&usg=AOvVaw0Bh3TazD51EYb4wb1xp0cu

Там достаточно хорошо проработана русская морфология

Если сочтете офтопиком, извиняюсь, но будем про разные "языки" говорить...

Язык для AGI — требования, спецификация, реализация — Николай Рабчевский, Алекс Шкотин, Антон Колонин, Виктор Казаринов, Александр Болдачев - 30 сентября 18:00-20:30 (время Московское)

Вопросы:
Нужен ли специальный язык для программирования AGI и взаимодействия с ним и если - да, то - зачем именно?
PL, NL, CNL, CFG, CSG?
Является "внутреннее представление" - "система понятий и операционное пространство экземпляра системы AGI") предметом описания "языком" или это и есть язык?
Что есть "язык" вообще?
Как связано "внутреннее представление" с онтологиями и грамматиками?
Должно ли "внутреннее представление" отображаться на "внешние интерфейсы" в (обе стороны, по входу и выходу) и если - да, то - как?
Какова структура хранения данных (топология) "внутреннеого представления" - реляционная, графовая, гиперграфовая, метаграфовая, итд.?
Должно ли выражение меры нечеткости (вероятностности) "внутреннего представления" и "внешнего выражения" быть частью структуры и грамматики либо выражаться средствами структуры хранения и грамматики языка?
Можно ли сказать, что язык "внутреннего представления" есть "разметка" (labeling) его элементов в соответствии с неким лексиконом и форматирование в соответствии с некоторой грамматикой или все гораздо сложнее?
Является ли язык ограничителем когнитивных способностей? Допустимо ли автоформирование собственного языка внутри AGI? И чем по вашему мнению он будет отличаться от нашего языка?
Чем крут предлагаемый вами язык и в чем его особенности (без ответа на этот вопрос остальные - не актуальны)?

https://aigents.timepad.ru/event/1412596/

Всем привет, подскажите, пожалуйста
Есть датафрейм с 30к заголовков новостей, пытался сделать тематическое моделирование (Lda), но он выдаёт то повторяющиеся слова, то несуразицу. Чанки и прочие параметры крутил. Может лучше bigartm попробовать?

Подскажите пожалуйста хорошие датасеты для русского языка, синонимы, ассоциации

Посмотрите проект summarus

Ой нет, это же о саммаризации, вам тематическое моделирование...

Да, саммари не нужно. Просто там в новостях есть упоминание областей, фамилий, городов. Это можно вытащить Наташей, но вот при моделировании слово «Казахстан» почти во всех топиках