Привет! Дано: большое количество предобработанных текстов в таком виде: 1) «мотивы» (атомарные составляющие текстов) 2) «традиции» (условно, язык, страна, или место, где записывались мотивы; каждая традиция состоит из множества мотивов; имеет также географические координаты) 3) разреженная матрица традиции/мотивы: какие мотивы в каких традициях встречаются. 4) отдельные мотивы малозначимы и могут являться шумами, но статистически значимые совпадения многих мотивов в разных традициях могут показывать их, в некотором смысле, «родство». Известно, что разные традиции имеют разную степень «родства» и включают разные «комбинации» других традиций, плюс какое-то количество своих уникальных мотивов. В разных крупномасштабных регионах преобладают разные группы мотивов. Требуется: Что бы такого наглядного из этой матрицы можно было бы кластеризовать/классифицировать/регрессировать/еще как-то выделить? Как можно попытаться выделить крупномасштабные структуры? Что можно было бы попробовать отобразить на карте? Какими алгоритмами?

Привет! Дано: большое количество предобработанных текстов в таком виде: 1) «мотивы» (атомарные составляющие текстов) 2) «традиции» (условно, язык, страна, или место, где записывались мотивы; каждая традиция состоит из множества мотивов; имеет также географические координаты) 3) разреженная матрица традиции/мотивы: какие мотивы в каких традициях встречаются. 4) отдельные мотивы малозначимы и могут являться шумами, но статистически значимые совпадения многих мотивов в разных традициях могут показывать их, в некотором смысле, «родство». Известно, что разные традиции имеют разную степень «родства» и включают разные «комбинации» других традиций, плюс какое-то количество своих уникальных мотивов. В разных крупномасштабных регионах преобладают разные группы мотивов. Требуется: Что бы такого наглядного из этой матрицы можно было бы кластеризовать/классифицировать/регрессировать/еще как-то выделить? Как можно попытаться выделить крупномасштабные структуры? Что можно было бы попробовать отобразить на карте? Какими алгоритмами?

может, так?
переименовать первое в "фичи", второе в "ключевые слова", а может, "темы" и "ключевые слова" (а может, наоборот), а потом действовать по аналогии с любыми другими штуками, которые с таким работают...

Это база данных Березкина?

Она, родимая.

Какой есть словарь (любого языка: русский , английский, японский и пр.) где каждому слову давалось бы облако тегов, характеризующее его. Гиперонимы там, атрибуты.
Типа
Собака: друг, верный, животное...

Есть предобученные эмбединги слов (например word2vec). Где словам соответствуют вектора. И вектора тем ближе, чем слова по смыслу. + имеет смысл арифметические операции с векторами.
Думаю стоит в эту область посмотреть

Какой есть словарь (любого языка: русский , английский, японский и пр.) где каждому слову давалось бы облако тегов, характеризующее его. Гиперонимы там, атрибуты.
Типа
Собака: друг, верный, животное...

бабельнет? (и conceptnet тоже, но та меньше)

Привет!
Подскажите, плз, где можно найти дамп статей с хабра? Либо другого ресурса, такого, что бы можно было быть уверенным, что текст статей написан одним автором, а не коллективом, как на Вики.

На хабре есть статья
https://habr.com/ru/post/321206/
В которой дана ссылка на дамп. Но дамп сделан в формате .mx

.MX - это wolfram mathematica. Чтобы прочитать данные поставил триал 12 версии. Сначала казалось, что этот вольфрам создали риптилойды, но сомнения рассеялись, когда стало понятно, что 12 версия не открывает файл из статьи: методы чтения файла (из упоротой документации) возвращают null.

Ну тут я гиперонимы не вижу что то

ты оба тезауруса посмотрел? у них общие id кстати вроде бы были

Я просто открыл обе веб страницы твоих ссылок.

ты оба тезауруса посмотрел? у них общие id кстати вроде бы были