IK
Если так, то библиотека polyglot
fasttext справляется весьма прилично (при том, что модель весит 1мб)
https://fasttext.cc/blog/2017/10/02/blog-post.html
https://fasttext.cc/docs/en/language-identification.html
Size: a a a
2021 March 19
Р
а что может определять смешанные языки? Например рекомендуемая моделька на фразу
"Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram. "
отдает "{'en': 0.12450417876243591, 'ca': 0.08594832569360733, 'de': 0.0802881047129631}"
"Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram. "
отдает "{'en': 0.12450417876243591, 'ca': 0.08594832569360733, 'de': 0.0802881047129631}"
N
а что может определять смешанные языки? Например рекомендуемая моделька на фразу
"Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram. "
отдает "{'en': 0.12450417876243591, 'ca': 0.08594832569360733, 'de': 0.0802881047129631}"
"Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram. "
отдает "{'en': 0.12450417876243591, 'ca': 0.08594832569360733, 'de': 0.0802881047129631}"
эмм, а как вы себе это представляете?
N
особенно по такому примеру, где аббревиатуры вообще не специфические
N
как себе представляете - в смысле какой должен быть результат классификации
Р
Natalia
эмм, а как вы себе это представляете?
представляю, что вот именно это фраза больше к русскому относится (русских слов больше), нежели к en
N
ну значит, модель что-то как-то косячит или смешно обучена (можно посмотреть, на чём обучали и как)
N
полиглот или ещё какая-то?
Р
Natalia
полиглот или ещё какая-то?
брал родную, отсюда https://fasttext.cc/docs/en/language-identification.html
N
ну я бы по приколу потестила разные тогда: https://towardsdatascience.com/benchmarking-language-detection-for-nlp-8250ea8b67c (и полиглот). почему фасттекст так странно рассчитывает - интересный вопрос, конечно
Р
Natalia
ну я бы по приколу потестила разные тогда: https://towardsdatascience.com/benchmarking-language-detection-for-nlp-8250ea8b67c (и полиглот). почему фасттекст так странно рассчитывает - интересный вопрос, конечно
спасибо за ссылку, попробую)
IK
from langdetect import detect_langs
foreign = 'Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram'
detect_langs(foreign)
foreign = 'Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram'
detect_langs(foreign)
IK
[ru:0.9999978585694292]
IK
Вот еще
Р
from langdetect import detect_langs
foreign = 'Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram'
detect_langs(foreign)
foreign = 'Arena - это текстовая MMORPG с пошаговыми боями между реальными пользователями Telegram'
detect_langs(foreign)
ваш пример, действительно, показывает правду)
я тестил вот это https://github.com/dkajtoch/fast-lang
я тестил вот это https://github.com/dkajtoch/fast-lang
2021 March 20
d
Как у pycharm открыть local history для удаленного репозитория? Или как открыть код, который запущен и крутится, но удален?
2021 March 21
AO
всем привет, как-то натыкался не понимая давно давно на фейки с голосом. тобишь даешь текст и нейронка, как я понимаю, генерирует аудио голосом нужного перса. где про это почитать и разобраться. есть ли какие то предобученные штуки? есть ли способы заматчить с нужным именно мне голосом. поделитесь линком,
спс
спс
N
всем привет, как-то натыкался не понимая давно давно на фейки с голосом. тобишь даешь текст и нейронка, как я понимаю, генерирует аудио голосом нужного перса. где про это почитать и разобраться. есть ли какие то предобученные штуки? есть ли способы заматчить с нужным именно мне голосом. поделитесь линком,
спс
спс
AO
Н
Привет!)
Хочу попросить о помощи разобраться в синтаксических парсерах, встретиться лично или в скайпе, готова заплатить! Очень нужна консультация в преддверие защиты ВПР 😞
Хочу попросить о помощи разобраться в синтаксических парсерах, встретиться лично или в скайпе, готова заплатить! Очень нужна консультация в преддверие защиты ВПР 😞