TransModality: Ein end-to-end-Fusionsverfahren mit Transformer für die multimodale Sentimentanalyse

Multimodale Sentimentanalyse ist ein wichtiger Forschungsbereich, der darauf abzielt, die Stimmungsrichtung eines Sprechers anhand von Merkmalen aus textuellen, visuellen und akustischen Modalitäten vorherzusagen. Die zentrale Herausforderung besteht in der Fusionsmethode für multimodale Informationen. Obwohl eine Vielzahl von Fusionsansätzen vorgeschlagen wurde, greifen nur wenige auf end-to-end-Übersetzungsmodelle zurück, um die feinen Korrelationen zwischen den Modalitäten zu erkennen. Inspiriert durch den jüngsten Erfolg des Transformers im Bereich der maschinellen Übersetzung, stellen wir eine neue Fusionsmethode, TransModality, vor, um die Aufgabe der multimodalen Sentimentanalyse zu lösen. Wir gehen davon aus, dass die Übersetzung zwischen Modalitäten zu einer verbesserten gemeinsamen Repräsentation der Sprechäußerung beiträgt. Mittels Transformer werden die gelernten Merkmale sowohl Informationen aus der Quell- als auch aus der Zielmodality widerspiegeln. Wir validieren unser Modell an mehreren multimodalen Datensätzen: CMU-MOSI, MELD und IEMOCAP. Die Experimente zeigen, dass unsere vorgeschlagene Methode die derzeit beste Leistung erzielt.