Gated Mechanismus für attentionbasierte multimodale Sentimentanalyse

Multimodale Sentimentanalyse hat in letzter Zeit an Beliebtheit gewonnen, da sie für soziale Medienbeiträge, Kundenserviceanrufe und Videoblogs von hoher Relevanz ist. In diesem Artikel behandeln wir drei Aspekte der multimodalen Sentimentanalyse: 1. Kreuzmodale Interaktionslernen, d. h. die Frage, wie verschiedene Modalitäten zum Sentiment beitragen; 2. das Lernen langfristiger Abhängigkeiten in multimodalen Interaktionen; und 3. die Fusion von unimodalen und kreuzmodalen Hinweisen. Unter diesen drei Aspekten stellen wir fest, dass das Lernen kreuzmodaler Interaktionen für dieses Problem vorteilhaft ist. Wir führen Experimente auf zwei etablierten Benchmark-Datensätzen durch: dem CMU Multimodal Opinion level Sentiment Intensity (CMU-MOSI) und dem CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) Korpus. Unser Ansatz erzielt auf beiden Aufgaben Genauigkeiten von jeweils 83,9 % und 81,1 %, was einer absoluten Verbesserung gegenüber dem aktuellen Stand der Technik um 1,6 % bzw. 1,34 % entspricht.