DD
Можно завернуть pymorphy2 в lru_cache. Из-за закона ципфа большую часть текстов составляет очень небольшое число слов. Если их леммы запомнить, леммер ускоряется на порядок.
Size: a a a
2021 April 14
MK
Так для этого контейнеры придуманы, чтобы сегфаулты не лечить )
RK
Насколько понял из статьи, еще и не распараллелили. Мне кажется, что cache+multiprocessing значительно должны ускорить
S(
вообще хорошая идея. может помочь. благодарю.
FF
У меня такая цепочка ускоряла в 1.5-2 раза примерно
FF
Не сказать, чтобы очень-очень много, но лучше, чем ничего
DD
У меня кэш ускорял раз в 10 точно Оо
FF
А какой размер был?
FF
Видимо, я на препроцессинге дургой ботлнек словил
FF
Поэтому и не получил 10 раз рост
FF
Там скорее всего каждый раз одтельный процесс поднимается морф анализатора
FF
Где-то был хак как можно его постоянно держать и по пайпу общаться
SY
Подскажите, пожалуйста можно ли в yargy для английских слов использовать вместо pymorphy2 другой лематизатор?
S(
Это только для mystem верно
2021 April 15
VM
какой аналог mystem посоветуете для английского языка?
я пробовал hunpos, tree-tagger, ark-tagger, textblob, но они маловато инфы дают
я пробовал hunpos, tree-tagger, ark-tagger, textblob, но они маловато инфы дают
SW
spacy неплох и умеет удобный интерфейс для python
N
а какая инфа в принципе нужна?
VM
инфа нужна такая, чтоб скормив кучу текста, я понимал, что два каких-нить слова грамматически одинаково используются в предложениях, и если я одно на другое заменю, то получу новое грамматически валидное предложение
VM
по тому, как много инфы дает mystem, и как мало дают те тулзы, что я пробовал для английского, я пришел к выводу, что русский текст в этом плане прост в анализе, потому что у слов есть окончания и пр., а в английском их нет, и роль слова в предложении понять сложней, но я хз, я не лингвист
VM
после пары дней шлифовки я добился того, что половина оставшихся ошибок в генерации обусловлена лишь ошибками mystem-а, а с какой стороны подойти к тому, чтоб чинить английскую несуразицу, я чот не понял