Приветствую всех, интересует лучшее готовое (или ближайшее к таковому) открытое решение (hard baseline), которое можно быстро кастомизировать или собрать "from scratch" или из понятных готовых компонентов (USE + annoy/faiss) под набор довольно тривиальных в настоящее время задач:

1. Семантический поиск (поиск фразы/словосочетаний по смыслу внутри некого текста или набора текстов) - интересует момент не кодирования предложения целиком, а именно поиск "подсмысла" (как поиск подстроки в тексте)
2. Тематического моделирования (для задач FAQ - если он, скажем, содержит больше 10000 страниц) - т.е. что-то вроде древовидной структуры или диаграммы зависимостей
3. Выделения терминов и условий (суть задачи №2 из этого списка) и отображение терминов в предметной области (визуализация, что-то еще)
4. Построение модели предметной области (т.е. парсинг запросов к предметной области как условий поискового запроса, выделение таких условий)
5. Моделирование диалогов (понимать, как развивается дерево общения в данной ситуации относительно предметной области, скажем перемещение внимания с одной части корпуса текстов на другое, определение темы в настоящий момент и определение переключения темы)
6. Какие-то более продвинутые методики и люди, которые этим умеют заниматься (в личку)

Приветствую всех, интересует лучшее готовое (или ближайшее к таковому) открытое решение (hard baseline), которое можно быстро кастомизировать или собрать "from scratch" или из понятных готовых компонентов (USE + annoy/faiss) под набор довольно тривиальных в настоящее время задач:

1. Семантический поиск (поиск фразы/словосочетаний по смыслу внутри некого текста или набора текстов) - интересует момент не кодирования предложения целиком, а именно поиск "подсмысла" (как поиск подстроки в тексте)
2. Тематического моделирования (для задач FAQ - если он, скажем, содержит больше 10000 страниц) - т.е. что-то вроде древовидной структуры или диаграммы зависимостей
3. Выделения терминов и условий (суть задачи №2 из этого списка) и отображение терминов в предметной области (визуализация, что-то еще)
4. Построение модели предметной области (т.е. парсинг запросов к предметной области как условий поискового запроса, выделение таких условий)
5. Моделирование диалогов (понимать, как развивается дерево общения в данной ситуации относительно предметной области, скажем перемещение внимания с одной части корпуса текстов на другое, определение темы в настоящий момент и определение переключения темы)
6. Какие-то более продвинутые методики и люди, которые этим умеют заниматься (в личку)

Приветствую всех, интересует лучшее готовое (или ближайшее к таковому) открытое решение (hard baseline), которое можно быстро кастомизировать или собрать "from scratch" или из понятных готовых компонентов (USE + annoy/faiss) под набор довольно тривиальных в настоящее время задач:

1. Семантический поиск (поиск фразы/словосочетаний по смыслу внутри некого текста или набора текстов) - интересует момент не кодирования предложения целиком, а именно поиск "подсмысла" (как поиск подстроки в тексте)
2. Тематического моделирования (для задач FAQ - если он, скажем, содержит больше 10000 страниц) - т.е. что-то вроде древовидной структуры или диаграммы зависимостей
3. Выделения терминов и условий (суть задачи №2 из этого списка) и отображение терминов в предметной области (визуализация, что-то еще)
4. Построение модели предметной области (т.е. парсинг запросов к предметной области как условий поискового запроса, выделение таких условий)
5. Моделирование диалогов (понимать, как развивается дерево общения в данной ситуации относительно предметной области, скажем перемещение внимания с одной части корпуса текстов на другое, определение темы в настоящий момент и определение переключения темы)
6. Какие-то более продвинутые методики и люди, которые этим умеют заниматься (в личку)

Да, т.е. найти кусок текста который содержит смысл, выраженный поисковой фразой

первый вопрос тоже интересует, про "поиск фразы по смыслу внутри текста"

типа такого решения хочется

Ну да, я делаю так же и придумать ничего лучше не смог, и подумал может есть решение которое можно сразу поставить, а не делать его из мелких компонентов....

Я это делаю так. Беру текст, разрезаю на предложения. Потом каждое предложение разбираю парсером зависимостей, полученное дерево разрезаю на кустики (правила разрезания придумал эвристически). Далее каждый кустик (который просто подстрока) прогоняю через fasttext и усредняю по словам. Полученный вектор заталкиваю в искалку соседей. Работает.

звучит топово

Ну такой вот примерно рецепт усредненный, потому что вариаций масса.

Добрый вечер. Не могли бы вы, пожалуйста, подсказать в следующей задаче:
Есть несколько моделей для поиска именованных сущностей (например, только организаций). Есть одни модели с наилучшей прецизиозностью, а другие с наилучшей полнотой.
Отсюда вопрос: можно ли получить лучший результат (F-мера), если каким-то способом ансамблировать две модели (например с наилучшими precision и recall) ? Быть может просто пересечь их результаты.
Есть какие-то исследования, статьи или просто практический опыт по проверке такой методики ?

Ребят, кто-нибудь может пояснить, почему ещё нет t5 на русском? Для суммаризации хотя бы
Датасет С4 на русском есть, код для обучения прям по шагам описан
В чём подвох?