SМ
K means / k medoids работают ок когда кластера это выпуклые компакты
Size: a a a
2021 April 09
SМ
А дбскан не обязательно это требует
SМ
Даже правильнее,данные образуют выпуклые компакты
НК
Я хочу попробовать подойти с другой стороны к решению проблемы кластеризации новостей, что также у @FutorioFranklin
У меня условно суммаризация статьи сводится к десятку категорий/тематик и на их основе можно строить кластеры.
У меня условно суммаризация статьи сводится к десятку категорий/тематик и на их основе можно строить кластеры.
Е
Как я понял, число кластеров неизвестно заранее, поэтому я предложил алгоритм кластеризации, который не требует этого параметра.
SМ
В тч плюс
НК
Если кто-то хочет попробовать, могу предоставить датасет
РН
Присылайте. В теории мы все мастаки. Любим свои алгоритмы. Но реальный мир суровее 😂
DD
Если проблема в огромном количестве документов, рекомендую BIRCH, он очень хорошо масштабируется.
НК
https://drive.google.com/file/d/1ZPLZ11pkfSMSi6IYnYmlkG7vE-0c-JFm/view?usp=sharing
Здесь датасет
100т новостей
Ид новости
Ссылка на новость
Ид категории
Значение релевантности
У новости может быть несколько десятков категорий. Значение релевантности от 0.01 и выше до 1-2. Все что выше 0.1 это уже более-менее явная тематика статьи, все что ниже - это некая полезная примесь.
Здесь датасет
100т новостей
Ид новости
Ссылка на новость
Ид категории
Значение релевантности
У новости может быть несколько десятков категорий. Значение релевантности от 0.01 и выше до 1-2. Все что выше 0.1 это уже более-менее явная тематика статьи, все что ниже - это некая полезная примесь.
SМ
НК
Хотелось бы сравнить это метод с другими возможностями кластеризации документов.
РН
Категорию и релевантность алгоритмом или человеком расставляли? Если алгоритмом, то откуда уверенность, что появятся устойчивые структуры в кластерах?
НК
Уверенность полная, ибо я могу легко сейчас выбрать новости на тему Политика с высокой релевантностью
РН
А кто конечный пользователь этой классификации? Категория "Политика" тоже условна. К примеру, если речь про распределение субсидий на лекарства по регионам. С одной стороны политика, с другой - здравоохранение. Пытаюсь понять конечную вашу цель.
НК
В этом и суть кластеризации. Поскольку у меня статьи имеют десятки категорий, это позволяет в Политике сделать доп кластеры.
РН
Я бы на вашем месте перевел новости в эмбеддинги. К примеру, Fasttext. Понизил размерность через t-sne алгоритм. Дальше провел кластеризацию через k-means.
НК
Полагаю @FutorioFranklin нечто подобное уже делал и результат не удовлетворяет
A
То есть кластеры могут составлять иерархию?
A
Мне видится такая логика:
- классификация (разметка или zero-shot)
- векторизация (USE)
- кластеризация (тут уже на вкус и цвет)
- классификация (разметка или zero-shot)
- векторизация (USE)
- кластеризация (тут уже на вкус и цвет)