ЕТ
Cucusenok
Мульти или один?
Не понимаю вопроса, можно как-то перефразировать?
И какие нужны кластеры?
Множественная классификация или бинарная?
Size: a a a
2020 July 06
C
ЕТ
Cucusenok
И какие нужны кластеры?
Множественная классификация или бинарная?
Множественная классификация или бинарная?
У меня нет задачи классификации. Просто список строк (на картинке сэмпл из него). И надо их разложить по темам.
ЕТ
И этого достаточно будет.
ЕТ
Ну, то есть, тут навскидку видно, что есть сварщики, есть повара, есть кондитеры.
C
Ну, то есть, тут навскидку видно, что есть сварщики, есть повара, есть кондитеры.
Ну я и спрашиваю. Я бы ради эксперимента через pymorpy прогнал на наличие сущностей ну и к лемме привел
C
Но у тебя там ещё гео будет
ЕТ
Cucusenok
Ну я и спрашиваю. Я бы ради эксперимента через pymorpy прогнал на наличие сущностей ну и к лемме привел
К лемме я уже привёл, да. А "спб" я уберу, пожалуй, потому что тут везде по спб запросы.
C
если не нужно, то оберни в pymorpy и забирай только сущности. Если по быстрому, можно просмотреть по частоте встречаемости слов сможешь убрать общие. Это уже существенно упростит.
C
Ну, спб, цена etc
C
К лемме я уже привёл, да. А "спб" я уберу, пожалуй, потому что тут везде по спб запросы.
Ну к лемме и к существительному. Напр., у тебя кулинарный, а на выходе должна быть кулинария?
ЕТ
Cucusenok
Ну к лемме и к существительному. Напр., у тебя кулинарный, а на выходе должна быть кулинария?
Не, именно кулинарный.
ЕТ
C
Ну и удостоверение электрика
ЕТ
Я сейчас думаю векторизовать запросы через какой-нибудь вордвек.
ЕТ
И натравить k-means потом.
C
Тоже об этом подумал
ЕТ
Но с вордвеком не работал ещё особо, надо посмотреть, можно ли векторизовать сразу несколько слов. Навскидку кажется, что это не так работает. Раньше работал только с тематическим моделированием нескольких документов.
C
Меня именно "удостоверение электрика" сейчас напрягло.
Можно в ворд2век, но все равно нужно будет взять основу типа удостоверения, а на выходе сделать древовидную структуру.
Но тут уже нужно понимать твою конечную задачу.
Можно в ворд2век, но все равно нужно будет взять основу типа удостоверения, а на выходе сделать древовидную структуру.
Но тут уже нужно понимать твою конечную задачу.
AK
Приношу глубочайшие извинения тем, кого задену очень базовым вопросом.
У меня есть список строк. Их полторы тысячи. Стоп-слова я позже уберу. Хочу кластеризовать строки по темам. На ум приходит просто взять и кластеризовать их через расстояние Левентшейна, а потом мозгом уже посмотреть темы этих кластеров. Можно ли как-то получше сделать?
У меня есть список строк. Их полторы тысячи. Стоп-слова я позже уберу. Хочу кластеризовать строки по темам. На ум приходит просто взять и кластеризовать их через расстояние Левентшейна, а потом мозгом уже посмотреть темы этих кластеров. Можно ли как-то получше сделать?
Можно tfidf просто взять для начала и кластеризовать Birch'ем, который сам подберет ~оптимальное количество кластеров