Multilogue-Net: Ein kontextbewusstes RNN für die multimodale Emotionsdetektion und Sentimentanalyse in Gesprächen

Die Sentimentanalyse und Emotionserkennung in Gesprächen sind entscheidend für zahlreiche Anwendungen in der Praxis, wobei die zunehmende Verfügbarkeit mehrerer Modalitäten eine verbesserte Erfassung der zugrundeliegenden Emotionen ermöglicht. Die multimodale Emotionserkennung und Sentimentanalyse kann dabei besonders nützlich sein, da Anwendungen spezifische Teilmenge der verfügbaren Modalitäten je nach Datenlage nutzen können. Aktuelle Systeme zur multimodalen Verarbeitung versäumen es jedoch, den Gesprächscontext über alle Modalitäten hinweg angemessen zu erfassen, die Abhängigkeiten zwischen den emotionalen Zuständen von Sprecher und Zuhörer zu berücksichtigen sowie die Relevanz und Beziehung zwischen den verfügbaren Modalitäten zu modellieren. In diesem Paper stellen wir eine end-to-end RNN-Architektur vor, die darauf abzielt, alle genannten Limitierungen zu überwinden. Unser vorgeschlagener Ansatz erzielt, zum Zeitpunkt der Niederschrift, eine bessere Leistung als der Stand der Technik auf einem Benchmark-Datensatz hinsichtlich verschiedener Genauigkeits- und Regressionsmetriken.