АН
Ну я копирую веса и потом сверяю выходы кераса и торча
Size: a a a
2020 May 08
АН
Они координально разные
АН
А должны быть хотябы похожие
KS
Подскажите, пожалуйста, существует ли какая-то технология согласования вопросов и ответов по времени, числу, падежу и т.д.. К примеру я ищу ответ на вопрос с помощью squad - он вырезает кусок из предлагаемого контекста. Но что делать, если вырезанный ответ не согласуется с предполагаемым ответ по числу или падежам?
В Pullenti в классе ... Ner.Core.MiscHelper есть функция GetTextMorphVarByCase, преобразующая строку (не только слово, но м.б. сложная именная группа, причастный оборот и др.) к нужному числу и падежу. Там много и других полезных функций по морфологическим преобразованиям. А если каких нет, то можно обратиться к автору для доработки.
PG
В Pullenti в классе ... Ner.Core.MiscHelper есть функция GetTextMorphVarByCase, преобразующая строку (не только слово, но м.б. сложная именная группа, причастный оборот и др.) к нужному числу и падежу. Там много и других полезных функций по морфологическим преобразованиям. А если каких нет, то можно обратиться к автору для доработки.
Спасибо, буду разбираться
JK
Всем привет!
Столкнулся с проблемой.
Есть около 1000 новостей портала x по теме n.
Я объединил их в один документ, удалил стоп-слова, пунктуацию, токенизировал и привел токены в нормальную форму.
на выходе получил список чистых токенов
этот список я пропустил через LDA gensim (словарь и корпус получили на вход список токенов)
в итоге я получил темы, но их состав по ключевым словам практически идентичный, видимо в силу того, что все документы и так написаны на одну тему
Какую проблему я хочу решить: увеличить точность, чтобы модель выделяла более контрастные подтемы внутри одной темы.
Что можно сделать в этом направлении?
мне советовали обратить внимание на методы тематической классификации, но я пока что хочу разобраться с LDA
работаю в Python
Столкнулся с проблемой.
Есть около 1000 новостей портала x по теме n.
Я объединил их в один документ, удалил стоп-слова, пунктуацию, токенизировал и привел токены в нормальную форму.
на выходе получил список чистых токенов
этот список я пропустил через LDA gensim (словарь и корпус получили на вход список токенов)
в итоге я получил темы, но их состав по ключевым словам практически идентичный, видимо в силу того, что все документы и так написаны на одну тему
Какую проблему я хочу решить: увеличить точность, чтобы модель выделяла более контрастные подтемы внутри одной темы.
Что можно сделать в этом направлении?
мне советовали обратить внимание на методы тематической классификации, но я пока что хочу разобраться с LDA
работаю в Python
RS
Всем привет!
Столкнулся с проблемой.
Есть около 1000 новостей портала x по теме n.
Я объединил их в один документ, удалил стоп-слова, пунктуацию, токенизировал и привел токены в нормальную форму.
на выходе получил список чистых токенов
этот список я пропустил через LDA gensim (словарь и корпус получили на вход список токенов)
в итоге я получил темы, но их состав по ключевым словам практически идентичный, видимо в силу того, что все документы и так написаны на одну тему
Какую проблему я хочу решить: увеличить точность, чтобы модель выделяла более контрастные подтемы внутри одной темы.
Что можно сделать в этом направлении?
мне советовали обратить внимание на методы тематической классификации, но я пока что хочу разобраться с LDA
работаю в Python
Столкнулся с проблемой.
Есть около 1000 новостей портала x по теме n.
Я объединил их в один документ, удалил стоп-слова, пунктуацию, токенизировал и привел токены в нормальную форму.
на выходе получил список чистых токенов
этот список я пропустил через LDA gensim (словарь и корпус получили на вход список токенов)
в итоге я получил темы, но их состав по ключевым словам практически идентичный, видимо в силу того, что все документы и так написаны на одну тему
Какую проблему я хочу решить: увеличить точность, чтобы модель выделяла более контрастные подтемы внутри одной темы.
Что можно сделать в этом направлении?
мне советовали обратить внимание на методы тематической классификации, но я пока что хочу разобраться с LDA
работаю в Python
Привет!
Попробуй:
1) Использовать TF-IDF, а не простую матрицу количества
2) Убрать слова, которые встречаются часто и характеризуют все топики
Попробуй:
1) Использовать TF-IDF, а не простую матрицу количества
2) Убрать слова, которые встречаются часто и характеризуют все топики
Bo
Загрузил pip vosk для osx на pip
https://files.pythonhosted.org/packages/2e/92/53785abdcdf3880eb48b1b351f1418d3577c0b349c1ed4f96cc85e1c856e/vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl
pip3 install vosk
должно работать
https://files.pythonhosted.org/packages/2e/92/53785abdcdf3880eb48b1b351f1418d3577c0b349c1ed4f96cc85e1c856e/vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl
pip3 install vosk
должно работать
>sudo pip3 install vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl
ERROR: vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl is not a supported wheel on this platform.
>sudo pip3 install vosk
ERROR: Could not find a version that satisfies the requirement vosk (from versions: none)
ERROR: No matching distribution found for vosk
ERROR: vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl is not a supported wheel on this platform.
>sudo pip3 install vosk
ERROR: Could not find a version that satisfies the requirement vosk (from versions: none)
ERROR: No matching distribution found for vosk
NS
>sudo pip3 install vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl
ERROR: vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl is not a supported wheel on this platform.
>sudo pip3 install vosk
ERROR: Could not find a version that satisfies the requirement vosk (from versions: none)
ERROR: No matching distribution found for vosk
ERROR: vosk-0.3.7-cp38-cp38-macosx_10_12_x86_64.whl is not a supported wheel on this platform.
>sudo pip3 install vosk
ERROR: Could not find a version that satisfies the requirement vosk (from versions: none)
ERROR: No matching distribution found for vosk
питон и пип каких версий
Bo
питон и пип каких версий
>pip3 -V
pip 20.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)
>python3 -V
Python 3.8.2
Самого смущает, что для pip в конце написано python 3.7, но все остальные либы ставятся
pip 20.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)
>python3 -V
Python 3.8.2
Самого смущает, что для pip в конце написано python 3.7, но все остальные либы ставятся
K
Попробуйте pip3.8 - V
YB
Alexandra Panina
привет! Есть UDPipe у него можно взять модель русского языка и использовать в spacy, на гите есть их соединение
https://github.com/TakeLab/spacy-udpipe
http://ufal.mff.cuni.cz/udpipe/models#universal_dependencies_25_models_download
https://github.com/TakeLab/spacy-udpipe
http://ufal.mff.cuni.cz/udpipe/models#universal_dependencies_25_models_download
Так качество сейчас примерно одинаковое у spacy и udpipe, можно и spacy-ru брать сразу
V
А у slovnet качество в этой задаче будет хуже, чем у udpipe/spacy-ru?
https://github.com/natasha/slovnet#syntax
https://github.com/natasha/slovnet#syntax
YB
А у slovnet качество в этой задаче будет хуже, чем у udpipe/spacy-ru?
https://github.com/natasha/slovnet#syntax
https://github.com/natasha/slovnet#syntax
Сейчас тоже примерно одинаковое, потому что новые модели spacy-ru ещё недолетели до релиза, и поэтому, кажется, на процент или два лучше результаты у словнета сейчас на бенчмарке naeval . А бертовские модели гораздо лучше.(Я привык на синтагрусе смотреть, а там чуть другой датасет тестовый сейчас, там тоже словнет по всем показателям чуть лучше.)
EI
А у slovnet качество в этой задаче будет хуже, чем у udpipe/spacy-ru?
https://github.com/natasha/slovnet#syntax
https://github.com/natasha/slovnet#syntax
Странно, что тут нет сравнения с pullenti
V
Бертовские понятное дело топовые, но для работы нужна видеокарта, что б хорошую скорость получить)
А вот spacy/slovnet могут и без gpu довольно быстро работать
А вот spacy/slovnet могут и без gpu довольно быстро работать
EI
Странно, что тут нет сравнения с pullenti
Нашел на https://github.com/natasha/naeval
~
привет всем! есть какая-нибудь программа, которая может загружать массив научных статей и формировать карту связей между понятиями? я понимаю, что задача слишком объёмная, чтобы сходу её решить, но я помню некие новости про такое, когда нейросетке скармливали работы, а на выходе она предсказывала новые научные открытия. что почитать на эту тему?
AS
привет всем! есть какая-нибудь программа, которая может загружать массив научных статей и формировать карту связей между понятиями? я понимаю, что задача слишком объёмная, чтобы сходу её решить, но я помню некие новости про такое, когда нейросетке скармливали работы, а на выходе она предсказывала новые научные открытия. что почитать на эту тему?
AS
привет всем! есть какая-нибудь программа, которая может загружать массив научных статей и формировать карту связей между понятиями? я понимаю, что задача слишком объёмная, чтобы сходу её решить, но я помню некие новости про такое, когда нейросетке скармливали работы, а на выходе она предсказывала новые научные открытия. что почитать на эту тему?
Мб ещё на awesomeopensource.com чё лежит