Size: a a a

Natural Language Processing

2018 March 26

MM

Max Morozov in Natural Language Processing
насколько он медленный ?
источник

S★

Serge ★ in Natural Language Processing
Хммм. Сейчас поспрашивал и выяснилось, что у нас никто не сравнивал ¯\_(ツ)_/¯
источник

S★

Serge ★ in Natural Language Processing
Просто потыкали стандартный токенайзер и поменяли на pymorphy, а потом на pymorphy2
источник

AF

Alexander Fedorenko in Natural Language Processing
Да и альтернативы особо нет. Разве что стеммер, который быстрее, но с точностью похуже
источник

AF

Alexander Fedorenko in Natural Language Processing
Там главное установить его правильно. Тогда pymorphy2 работает шустро
источник

AF

Alexander Fedorenko in Natural Language Processing
и кажись в доке приводится примерная скорость работы pymorphy
источник

S★

Serge ★ in Natural Language Processing
Alexander Fedorenko
Там главное установить его правильно. Тогда pymorphy2 работает шустро
Можно поподробнее? pip install pymorphy2 - насколько правильно?
источник

AF

Alexander Fedorenko in Natural Language Processing
И проблема еще будет с неоднозначностью
источник

AF

Alexander Fedorenko in Natural Language Processing
есть дока. она на руском и подробная. Коробов постарался)
источник

AF

Alexander Fedorenko in Natural Language Processing
там все эти моменты отражены
источник

AP

Alexander Pozharskiy in Natural Language Processing
pip install pymorphy2[fast]
же
источник

AF

Alexander Fedorenko in Natural Language Processing
не помню((
источник

S★

Serge ★ in Natural Language Processing
Alexander Pozharskiy
pip install pymorphy2[fast]
же
=D
источник

AF

Alexander Fedorenko in Natural Language Processing
хотя переустанавливал пару месяцев назад. переносил на новый комп систему
источник

AP

Alexander Pozharskiy in Natural Language Processing
@Serge, нет, серьёзно :-)
источник

S★

Serge ★ in Natural Language Processing
Так я уже посмотрел в доке
источник

S★

Serge ★ in Natural Language Processing
Как раз поржал "как я не догадался, хочешь быструю версию - пиши устанвить быструю версию"
источник

AF

Alexander Fedorenko in Natural Language Processing
т.е. все в доке есть?
источник

S★

Serge ★ in Natural Language Processing
Да. На гитхабе ссылка на доку есть
источник

AK

Alexander Kukushkin in Natural Language Processing
В pymorphy вроде бы нет токенизатора, там морфологический анализатор. В yargy очень простой токенизатор http://yargy.readthedocs.io/ru/latest/#start , проверьте что это вам подходит. Скорость зависит от текста, порядок сотни КБ в секунду
источник