NK
как споткнулся?
Size: a a a
2018 July 20
2018 July 21
YB
ID:347198853
ребята, подскажите насчет speech recognition: я там вижу разные виды audio processing: mfcc, filter banks, including delta+ delta-delta. Получается очень разный размер инпута: от (timesteps, 13) with mfcc, до (timesteps, 39) или даже (timesteps, 161) for linear spectrograms. Это все для LibriSpeech на DeepSpeech моделях.
Да, всё так. И в чём проблема?
2018 July 22
NK
Да, всё так. И в чём проблема?
так какой из них использовать?
YB
ID:347198853
так какой из них использовать?
Любой. Большая разрешающая способность лишь чуть-чуть увеличивает качество.
NK
а не в курсе какой использовали в deepspeech статьях?
YB
Любой. Большая разрешающая способность лишь чуть-чуть увеличивает качество.
Буквально на доли процента в чистых условиях, на пару процентов в шумных, если есть много данных
YB
ID:347198853
а не в курсе какой использовали в deepspeech статьях?
Ты возьми просто репозиторий с deep speech 2 на pytorch
YB
Ты возьми просто репозиторий с deep speech 2 на pytorch
YB
У меня на комбинированном английском датасете в 2000 часов WER порядка 18% что-ли получился на стандартных параметрах нейросети (2хCNN, 5xGRUx800)
NK
YB
ID:347198853
а как называется то что они делают тут: https://github.com/SeanNaren/deepspeech.pytorch/blob/master/data/data_loader.py#L116
Дискретное преобразование Фурье, оно же FFT
NK
это часть mfcc?
NK
я просто еще плохо шарю в этих методах
YB
ID:347198853
это часть mfcc?
Нет, вместо mfcc там нейросеть изобретает его аналог
YB
У mfcc на выходе 13 единиц. И ещё чаще берут две дельты, получая 39 входов
NK
насколько я понимаю, в mfcc тоже используется FFT как первый шаг
YB
ID:347198853
насколько я понимаю, в mfcc тоже используется FFT как первый шаг
Ага. А потом делаются суммы по частотам.
NK
так в чем главное различие между mfcc и тем что они здесь делают?
YB
ID:347198853
так в чем главное различие между mfcc и тем что они здесь делают?
MFCC настроен на человеческий голос, а нейросеть может выделять голос даже из больших шумов.
YB
Если у тебя шумов мало, работают одинаково. Если много шумов, фоновая музыка, или эхо есть, то нейросеть начинает лучше работать.