А звук тут чем поможет, если они сентимент ищут?

Ну можно попробовать сентимент диалога оценивать (по кускам моделью, а потом эвристиками), и в случае грусти делать резюмирование

Но это идея с потолка, резюмирование само по себе не оч сейчас работает, а в разговорной речи горы мусора всегда

Поддерживаю, в большинстве таких систем, которые умеют переводить запись разговора в текст, этот текст представляется как диалог с таймингами и подписями "клиент" и "оператор". Во всяком случае, знаю несколько примеров, где такая схема внедрена и успешно используется

А если у нас есть структурированный диалог, то там уже довольно легко найти фразы, где клиенту что-то не нравится или наоборот, очень нравится

In this paper, we propose to improve emotion recognition by combining acoustic information and conversation transcripts. On the one hand, an LSTM network was used to detect emotion from acoustic features like f0, shimmer, jitter, MFCC, etc. On the other hand, a multi-resolution CNN was used to detect emotion from word sequences. This CNN consists of several parallel convolutions with different kernel sizes to exploit contextual information at different levels. A temporal pooling layer aggregates the hidden representations of different words into a unique sequence level embedding, from which we computed the emotion posteriors. We optimized a weighted sum of classification and verification losses. The verification loss tries to bring embeddings from the same emotions closer while separating embeddings from different emotions. We also compared our CNN with state-of-the-art text-based hand-crafted features (e-vector). We evaluated our approach on the USC-IEMOCAP dataset as well as the dataset consisting of US English telephone speech. In the former, we used human-annotated transcripts while in the latter, we used ASR transcripts. The results showed fusing audio and transcript information improved unweighted accuracy by relative 24% for IEMOCAP and relative 3.4% for the telephone data compared to a single acoustic system

текст 60%

со звуком 70%

Эта система уже есть.

Это как раз сейчас о чём и вопрос - как лучше это сделать?

Спасибо. Но доступа к аудио у меня нет :(

Кек

Оверфиттинг же

Хочу предупредить, что распознавание базовых эмоций по аудио/тексту - это полная жесть, если у вас не нет кучи ресурсов на это, то лучше начните с более простых кейсов (типа сентимента)

А во фразе I had no relationship with this woman, Monica Lewinski какая эмоция?

Взять более качественную модель для текста. Текст для неё портить, чтобы она умела в испорченном тексте находить плохой сентимент.

И возможно будет полезным уметь делать aspect-oriented sentiment, ведь может быть сказано прямо противоположное выдернутой из контекста фразе.

А чатик живет в новогоднюю ночь