YB
какого размера словарь для этого?
ну, spacy, когда используется в режиме без векторов, делает CNN hash embeddings размера 2000-7000 (x3 слоя) и всё.
Size: a a a
2020 February 18
A
размера в смысле в гигабайтах
YB
а fasttext можно квантизовать или считать только н-граммы.
YB
посмотрел, в spacy по 4 мб модели без векторов.
A
а для русского есть?
AK
а для русского есть?
Для русского есть компактные https://github.com/natasha/navec
A
ок, 50 мегабайт это терпимо
YB
а для русского есть?
вектора или что для русского есть?
целевая модель говорю на 4 мб, вектора 0 весят
https://github.com/buriy/spacy-ru/tree/v2.1/notebooks/training
а вот тут есть тренировка своих моделей разных типов (в бранче 2.1)
но да, лучше взять квантизованные вектора из navec.
целевая модель говорю на 4 мб, вектора 0 весят
https://github.com/buriy/spacy-ru/tree/v2.1/notebooks/training
а вот тут есть тренировка своих моделей разных типов (в бранче 2.1)
но да, лучше взять квантизованные вектора из navec.
A
интересно. Я по-моему spacy смотрел несколько лет назад, тогда русского не было
YB
интересно. Я по-моему spacy смотрел несколько лет назад, тогда русского не было
в spacy v1 делали какую-то русскую модель, а для 2.0 я сделал года полтора назад где-то.
но тебе же не POS/NER нужна, а своя классификация поди.
но тебе же не POS/NER нужна, а своя классификация поди.
A
я предполагаю следующее - из фразы выцепить сначала интент, потом через таггер выделить параметры для этого интента. И еще параллельно выяснить sentiment, который там тоже может быть
YB
а не хочешь взять rasa на пробу?
2020 February 19
V
Очень похоже на то, что rasa nlu вам очень зайдёт
A
да, когда я ее пробовал, зашла. Но там тоже не было русского и модели были на сотни мегабайт