Multimodales Multi-Loss-Fusionsnetzwerk für die Sentimentanalyse

Diese Arbeit untersucht die optimale Auswahl und Fusion von Merkmals-Encodern über mehrere Modalitäten hinweg und kombiniert diese in einem einzigen neuronalen Netzwerk, um die Erkennung von Stimmungen zu verbessern. Wir vergleichen verschiedene Fusionsmethoden und untersuchen den Einfluss des Multi-Loss-Trainings innerhalb des multimodalen Fusionsnetzwerks und identifizieren überraschend wichtige Erkenntnisse hinsichtlich der Leistung einzelner Subnetze. Zudem haben wir festgestellt, dass die Integration von Kontext die Modellleistung signifikant steigert. Unser bestes Modell erreicht state-of-the-art-Leistung für drei Datensätze (CMU-MOSI, CMU-MOSEI und CH-SIMS). Diese Ergebnisse legen einen Wegweiser für einen optimierten Ansatz zur Merkmalsauswahl und -fusion zur Verbesserung der Stimmungserkennung in neuronalen Netzen dar.