V
Size: a a a
2019 November 08
AC
вот такое есть https://github.com/PatrickgHayes/OOD_for_Sequences но там попроще
AE
Коллеги, а какие алгоритмы кластеризации кроме Kmeans, можно использовать в следующей ситуации. Есть примерно 900к векторов, размерность вектора (100), вектор получается из w2v.
m
множество их
T
Коллеги, а какие алгоритмы кластеризации кроме Kmeans, можно использовать в следующей ситуации. Есть примерно 900к векторов, размерность вектора (100), вектор получается из w2v.
hdbscan например
T
количество кластеров неопределено же?
AE
к сожалению нет (
AE
т.е. сейчас попыка на основе метрики силуета подобрать оптиальное количество
AE
проблема в том, что обучении на 500 кластеров занимает порядка 6 часов
AE
что просто ужасно
D(
Коллеги, а какие алгоритмы кластеризации кроме Kmeans, можно использовать в следующей ситуации. Есть примерно 900к векторов, размерность вектора (100), вектор получается из w2v.
Мне нравится Birch. Он требует линейного времени и относительно небольшой (O(n_clusters), но с оговорками) памяти. Им можно твой миллион векторов разбить на много маленьких кластеров довольно быстро.
А дальше эти маленькие кластеры любым твоим любимым алгоритмом кластеризовать ещё раз в большие.
А дальше эти маленькие кластеры любым твоим любимым алгоритмом кластеризовать ещё раз в большие.
AE
нужно попробовать, спасибо за наводку!
DK
affinity propagation обычно хорошо на таком заходит еще
D(
нужно попробовать, спасибо за наводку!
Единственный подводный камень: если будешь брать имплементацию birch из sklearn, указывай compute_labels=False, иначе можешь вывалиться по памяти.
Как раз на шаге compute_labels он почему-то линейную память запрашивает. Поэтому надо обучать Birch без compute_labels, а дальше вычислять лейблы для твоих наблюдений методом predict с небольшими батчами.
Как раз на шаге compute_labels он почему-то линейную память запрашивает. Поэтому надо обучать Birch без compute_labels, а дальше вычислять лейблы для твоих наблюдений методом predict с небольшими батчами.
AE
спасибо большое за совет! сейчас буду пробовать
I🍵
affinity propagation обычно хорошо на таком заходит еще
Ниче себе, я думал этот алгоритм для красоты придумали, судя по метрикам точности и времени работы, что я видел :))
D(
Ниче себе, я думал этот алгоритм для красоты придумали, судя по метрикам точности и времени работы, что я видел :))
ну вот мне тоже кажется, что для миллиона точек affinity propagation будет медленноват - вроде как он считает расстояние от каждой до каждой, а миллион в квадрате расстояний - это уже не шутки
DK
Ниче себе, я думал этот алгоритм для красоты придумали, судя по метрикам точности и времени работы, что я видел :))
Не, ну я миллионы и вправду не считал
Но кластеризация скажем тысяч новостей и отзывов была ок
И это был оффлайн-прогон для рисеча, а не онлайн продакшн
Но качество было лучше тех же k-means
Но кластеризация скажем тысяч новостей и отзывов была ок
И это был оффлайн-прогон для рисеча, а не онлайн продакшн
Но качество было лучше тех же k-means
AE
Да к минс то в целом хорош, но уж больно медленно считается (((
D(
Да к минс то в целом хорош, но уж больно медленно считается (((
Ещё, кстати, один хак.
Если ты готов пожертвовать качеством во имя скорости, то можно обучающие данные сократить по обоим измерениям: сделать случайную выборку из строк, и сократить размерность столбцов каким-нибудь PCA.
Получишь кластеры чуть похуже, зато сильно побыстрее.
А потом, кстати, можно заморочиться и этими кластерами уже полноценный k-means инициализировать - авось, он так быстрее сойдется.
Если ты готов пожертвовать качеством во имя скорости, то можно обучающие данные сократить по обоим измерениям: сделать случайную выборку из строк, и сократить размерность столбцов каким-нибудь PCA.
Получишь кластеры чуть похуже, зато сильно побыстрее.
А потом, кстати, можно заморочиться и этими кластерами уже полноценный k-means инициализировать - авось, он так быстрее сойдется.