V
по непонятной причине он непопулярен, по сравнению с гугловскими моделями. тот же BERT для получения векторов предложений куда ни попадя пихают.
а вы юзали лазер для своих каких-то задач?
Size: a a a
2019 December 09
KK
Добрый вечер. Подскажите, пожалуйста, в pip для python есть библиотеки для обработки русского языка?
AZ
Krep Kospit
Добрый вечер. Подскажите, пожалуйста, в pip для python есть библиотеки для обработки русского языка?
Да
KK
Спасибо. А как называется?
KK
Просто их там тысяча с лишним по запросу...
D
Krep Kospit
Добрый вечер. Подскажите, пожалуйста, в pip для python есть библиотеки для обработки русского языка?
Natasha например
KK
Natasha например
Спасибо!
NK
Krep Kospit
Добрый вечер. Подскажите, пожалуйста, в pip для python есть библиотеки для обработки русского языка?
Звисит от конкретной задачи. NLTK, pymorphy2, после них Gensim, bigARTM, еще есть модели под русский язык в spacy, BERT, FastText.
"Обрабока языка" - это почти как "обработка данных" - выражение слишком общее, чтобы что-то рекомендовать.
"Обрабока языка" - это почти как "обработка данных" - выражение слишком общее, чтобы что-то рекомендовать.
A
А я вот задам общий вопрос - по character-level моделям есть что-нибудь готовенькое? А то я только какую-то статью читал и пытался сам на ее основе что-то ваять, но и все.
NK
А я вот задам общий вопрос - по character-level моделям есть что-нибудь готовенькое? А то я только какую-то статью читал и пытался сам на ее основе что-то ваять, но и все.
A
спасибо. Но видимо ркн не пущает. Через тор открылось.
A
похоже, что только статьи, готовых моделей чтоб "взять и пользовать" нету
T
flair char-level же вроде
NK
похоже, что только статьи, готовых моделей чтоб "взять и пользовать" нету
В моем примере было куча синих кнопок со ссылками на GitHub. Правда качество кода и модели может быть каким угодно.
A
ну вот именно что это код уровня "мы тут сели, накодили, но не факт, что оно у вас запустится"
A
на гитхабе такого много, например https://gist.github.com/karpathy/d4dee566867f8291f086
- запустить можно, но вот чтобы от нее чего-то для своих целей получить - пока не очень
- запустить можно, но вот чтобы от нее чего-то для своих целей получить - пока не очень
A
то есть я видел статью, в которой из эмбеддингов отдельных символов (7-мерных) делаются эмбеддинги слов, чтобы потом уже дальше это в своей нейросети это использовать.
A
соответственно требуются веса для превращения из одного в другое или хотя бы механизм обучения. А вот это как раз и не публикуется.
A
то есть я видел статью, в которой из эмбеддингов отдельных символов (7-мерных) делаются эмбеддинги слов, чтобы потом уже дальше это в своей нейросети это использовать.
