t2
Лучше всего конечно собственную валидацию использовать если таковая есть
Size: a a a
2019 August 31
AZ
правильный ответ — "скорее всего, твоя система будет хуже,чем та,которой делалась разметка (но это не точно)". Остальное трудно предсказать. Скажем, трейним на сложных данных с разметкой качеством 70%, тестим на чем-то легком — получим больше 70% (а хоть и на диктовке да/нет — близко к сотне будет).
t2
правильный ответ — "скорее всего, твоя система будет хуже,чем та,которой делалась разметка (но это не точно)". Остальное трудно предсказать. Скажем, трейним на сложных данных с разметкой качеством 70%, тестим на чем-то легком — получим больше 70% (а хоть и на диктовке да/нет — близко к сотне будет).
Все верно, я лично на аугментации надеюсь
AZ
тоже верно,может так и удастся получить качество выше,чем у размечалки. потом переразметить и снова обучить:) (но это вряд ли поможет:))
V
У нас есть вручную размеченный небольшой датасет, около 2 часов, гугловское распознавание там дало точность около 75%, готовая модель для kaldi - 64% (и это сравнивались только основы слов, а не побуквенно)
V
А что за аугментации?)
KY
А что за аугментации?)
Аугментация - "раздутие" уже имеющегося датасета для увеличения количества обучающих данных. То есть берем ситуацию: есть 2 картинки кошки, но этого мало, поэтому применяем аугментацию, растягивая изображения, изменение масштаба и так далее
V
Ааа, вот оно что
Я такое делал для задачи классификации пола и эмоций человека по его речи, только не знал, что оно так называется))
Просто искусственное расширение данных/датасета
Я такое делал для задачи классификации пола и эмоций человека по его речи, только не знал, что оно так называется))
Просто искусственное расширение данных/датасета
V
Спасибо за объяснение)
t2
Аугментация - "раздутие" уже имеющегося датасета для увеличения количества обучающих данных. То есть берем ситуацию: есть 2 картинки кошки, но этого мало, поэтому применяем аугментацию, растягивая изображения, изменение масштаба и так далее
Не совсем корректно
t2
Раздувать в данном случае вовсе необязательно, основная идея в том чтобы не оставить модели простого выхода в обучении на простых данны снизив качество записей аудиокниг (методы аугментации и зашумления рекомндую отдельно погуглить - specaugment, изменение скорости, питча и т.п.) и других дикторских начиток. При этом оригинальные чистые записи я планирую заменить аугментированными а не добавить их к ним.
t2
Обычно аугментации и правда используют для раздутия датасета и повышкния генерализации моделей, но к самому определению аугментаций это не относится
2019 September 02
NS
NS
26 ноября 2019
Москва
Москва
V
Собственно, если кому интересно, вот результат сравнения общедоступных русскоязычных моделей для распознавания речи на датасете из телефонии (максимально приближенный к реальности):
1. ESPnet (модель open_stt): WER: 49.48%, SER: 95.33%
2. kaldi (модель v0.6): WER: 45.89%, SER: 92.36%
3. Google Cloud Speech API (приведен в качестве эталона): WER: 33.28%, SER: 91.09%
1. ESPnet (модель open_stt): WER: 49.48%, SER: 95.33%
2. kaldi (модель v0.6): WER: 45.89%, SER: 92.36%
3. Google Cloud Speech API (приведен в качестве эталона): WER: 33.28%, SER: 91.09%
t2
Думаю тут CER актуальнее сранивать, т.к. ESPnet не использует word-lm, скорее всего, как и гугл
t2
А сколько часов в тест-сете было?
AΛ
Собственно, если кому интересно, вот результат сравнения общедоступных русскоязычных моделей для распознавания речи на датасете из телефонии (максимально приближенный к реальности):
1. ESPnet (модель open_stt): WER: 49.48%, SER: 95.33%
2. kaldi (модель v0.6): WER: 45.89%, SER: 92.36%
3. Google Cloud Speech API (приведен в качестве эталона): WER: 33.28%, SER: 91.09%
1. ESPnet (модель open_stt): WER: 49.48%, SER: 95.33%
2. kaldi (модель v0.6): WER: 45.89%, SER: 92.36%
3. Google Cloud Speech API (приведен в качестве эталона): WER: 33.28%, SER: 91.09%
В моей голове не складываются вместе понятия "общедоступная языковая модель" и "Google Speech API"
V
1 час
V
Гугл там в качестве эталона)