C
Ну, вот только я так понимаю, их проще не на лету формировать
Size: a a a
2020 July 06
ЕТ
Можно tfidf просто взять для начала и кластеризовать Birch'ем, который сам подберет ~оптимальное количество кластеров
Так у меня нет просто документов. У меня просто вектор из строк (в примере одна строчка - это одна строка).
AK
Так у меня нет просто документов. У меня просто вектор из строк (в примере одна строчка - это одна строка).
одна строчка - один документ:)
ЕТ
одна строчка - один документ:)
Хм.
ЕТ
Хм. Звучит логично.
E
Приношу глубочайшие извинения тем, кого задену очень базовым вопросом.
У меня есть список строк. Их полторы тысячи. Стоп-слова я позже уберу. Хочу кластеризовать строки по темам. На ум приходит просто взять и кластеризовать их через расстояние Левентшейна, а потом мозгом уже посмотреть темы этих кластеров. Можно ли как-то получше сделать?
У меня есть список строк. Их полторы тысячи. Стоп-слова я позже уберу. Хочу кластеризовать строки по темам. На ум приходит просто взять и кластеризовать их через расстояние Левентшейна, а потом мозгом уже посмотреть темы этих кластеров. Можно ли как-то получше сделать?
я бы попробовала векторы fasttext, посчитать среднее значение для строки или сумму простую, но обычно среднее делается, и попробовать разные алгоритмы кластеризации, от самого простого типа k-means и GMM и сколько найдете в sklearn или другой библиотеке
E
надо примерно знать, сколько тем может быть во всем списке, сколько кластеров делать, будут ли темы постоянные, или что-то новое будет появляться
2020 July 09
D•
Коллеги, я в @bigdata_ru уже сообщал неоднократно, а вот тут вообще ни разу не говорил, что у нас есть канал с вакансиями: @datasciencejobs
Если у кого есть интересные вакансии - присылайте @musit :)
Если у кого есть интересные вакансии - присылайте @musit :)
E
какие хорошие зарплаты у нлп-инженеров в Тинькоф банке...
2020 July 23
К
какие простые готовые решения есть для определения пола по ФИО?
D
surname[-1]=='а'
M
surname[-1]=='а'
лучше отчество тогда
C
surname[-1]=='а'
И совсем круто
if firstname[-1] in ['a', 'я']
if firstname[-1] in ['a', 'я']
E
мне кажется только по отчеству можно определить
E
фамилия может быть какая угодно
M
мне кажется, что если совсем простое решение, то отчество + какой-нибудь словарь имён (не все случаи покроет, но пишется быстро и работает сносно)
есть ли гендерные маркеры в какой-нибудь Наташе, не знаю (
есть ли гендерные маркеры в какой-нибудь Наташе, не знаю (
Р
мне кажется только по отчеству можно определить
А как же отчества типа "... оглы" или отсутствие отчества?
M
А как же отчества типа "... оглы" или отсутствие отчества?
так там вроде тоже оглы vs кызы