SZ
Каждое слово проверять на наличие в словарях языков. Каких языков больше среди слов, тот язык и назначать. Питоновский словарь работает за О(1), так что будет быстро, надо только списки слов составить/найти для каждого языка и сложить в словари.
Size: a a a
2019 October 24
SZ
Это если по тексту надо определить язык. По одному слову - только в словаре найти. Вроде просто всё.
V
Ну да, если не только англ/рус, то получается самый точный вариант будет поиск по словарю
V
Может подскажете, где их можно найти?)
SZ
Даже не словари нужны тут, а множества
SZ
Может подскажете, где их можно найти?)
Я не знаю. Сам бы в гугл полез, а если бы не нашёл - из дампа Википедии можно сделать, например. Или ещё из какого корпуса.
V
понял, спасибо за информацию)
OS
кстати а какие-нить символьные нграммы не отлично характеризуют язык если слова нет в словаре?
SZ
Правда будут одинаковые слова, их можно выбирать из распределения в языках (распределения построить по частотности). Тоже вроде не должно быть сложно.
DK
либа была же, langdetect
V
либа была же, langdetect
посмотрите моё сообщение выше, на отдельных словах она не очень работает
2019 October 25
V
Разбираюсь тут с лемматизацией в spaCy (он пока что используется только для этого) и возник вопрос. В чём разница между этими двумя вариантами ниже? По первому впечатлению, скорость и качество работы у них не отличается, однако первый требует загрузки готовой модели, а второй нет. Использую spacy[lookops] последней актуальной версии 2.2.
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
IN
Разбираюсь тут с лемматизацией в spaCy (он пока что используется только для этого) и возник вопрос. В чём разница между этими двумя вариантами ниже? По первому впечатлению, скорость и качество работы у них не отличается, однако первый требует загрузки готовой модели, а второй нет. Использую spacy[lookops] последней актуальной версии 2.2.
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
И все же tagger, parser и NER отключаются для улучшения скорости. Когда нужна только лемматизация, нет необходимости строить при этом предсказания по частям речи, зависимостям и сущностям (их spaCy всегда сразу делает по дефолту, если не указано иное)
V
И все же tagger, parser и NER отключаются для улучшения скорости. Когда нужна только лемматизация, нет необходимости строить при этом предсказания по частям речи, зависимостям и сущностям (их spaCy всегда сразу делает по дефолту, если не указано иное)
Спасибо)
Судя по документации, ещё можно textcat отключить в варианте с загрузкой модели. Но тогда вопрос, а на каком этапе выполняется лемматизация тогда? При токенизации? Или это отдельная сущность?
Судя по документации, ещё можно textcat отключить в варианте с загрузкой модели. Но тогда вопрос, а на каком этапе выполняется лемматизация тогда? При токенизации? Или это отдельная сущность?
V
Там есть отдельный класс Lemmatizer, но при этом нигде не упоминается, кто его дёргает. Или я не нашёл)
SZ
Разбираюсь тут с лемматизацией в spaCy (он пока что используется только для этого) и возник вопрос. В чём разница между этими двумя вариантами ниже? По первому впечатлению, скорость и качество работы у них не отличается, однако первый требует загрузки готовой модели, а второй нет. Использую spacy[lookops] последней актуальной версии 2.2.
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
Вариант 1:
import spacy
morph_analyser_en = spacy.load('en_core_web_sm', disable=['tagger', 'parser', 'ner'])
Вариант 2:
from spacy.lang.en import English
morph_analyser_en = English()
Собственно, лемматизация:
for i in range(len(words)):
result_analysing = morph_analyser_en(words[i])
lemma = result_analysing[-1].lemma_
Возможно, это и есть одно и то же. Но это не точно
SZ
Там есть отдельный класс Lemmatizer, но при этом нигде не упоминается, кто его дёргает. Или я не нашёл)
Вот тут вроде есть ответ (сам не пробовал)
https://stackoverflow.com/a/48948642
https://stackoverflow.com/a/48948642
V
Ему ж надо дополнительно передавать pos тег каждого слова
АП
Викисловарь по русскому сдампленый где то валялся
V
Я думаю pymorphy2 будет получше для русского, чем текущие модели spaCy. Кстати, судя по всему, недавно в spaCy как раз и прикрутили использование pymorphy2 для работы с русским языком, он есть в списке зависимостей для русского и украинского языков https://spacy.io/usage/models#languages
