n
н грамму надо получить из связи слов между собой
Size: a a a
2019 December 07
n
или я что-то непонимаю
n
я новичок вообще если что, чтогу ошибаться
MО
Я тоже, новичок.
V
тогда распишу задачу, я хочу идентифицировать текст об одном и том же событии. думал взять n-грамму, потому что она более четко отражает смысл текста
Это классификация текста/темы/намерений)
V
Решения этой задачи легко гуглятся, их много разных
n
ну вот я и нагуглил что n-гаммой получается более точно, но как n-грамму сделать ненашел
n
хотя про n-грамму на хабре прочитал, так себе источник конечно😂
n
ну там вроде бы логично все расписано, что биграммы более четко отражают суть дела, например словосочетание "не писать" просто при использовании лемматизации будет разделено на два "не" и "писать", при использовании биграммы в таблице будет имаенно "не писать" и "не" не затеряется в мешке слов
Y
желтый снег не жрать
Y
"не писать" или "не писать"? вот в чем вопрос.
MО
n-граммы это просто группы букв к примеру по 3 буквы
MО
'не_''пис''ать'
CT
Это могут быть и слова, не только буквы
m
ну вот я и нагуглил что n-гаммой получается более точно, но как n-грамму сделать ненашел
for i, j in zip(tokens[:-1], tokens[1:]):
...
...
m
Биграма например
SP
Коллеги, какая лингвистическая модель в итоге подходит для построения эмбеддингов нескольких предложений на русском языке?
SP
Вроде того, что демонстрируется во flair?
YB
Коллеги, какая лингвистическая модель в итоге подходит для построения эмбеддингов нескольких предложений на русском языке?
Да любая, кому-то нужно косинусное расстояние -- тем подойдёт w2v, кому-то нужна точность -- более глубокие нейросети, кому-то нормированная близость биграмм уже норм, кто-то нормированную точность только ключевых слов возьмёт