HyperAIHyperAI

Command Palette

Search for a command to run...

TelME: Lehrer-gesteuertes multimodales Fusionsnetzwerk für die Emotionserkennung in Konversationen

Taeyang Yun Hyunkuk Lim Jeonghwan Lee Min Song*

Zusammenfassung

Emotionserkennung in Konversationen (ERC) spielt eine entscheidende Rolle bei der Erstellung von Dialogsystemen, die effektiv auf Benutzeranfragen reagieren können. Die Emotionen in einer Konversation können durch Darstellungen aus verschiedenen Modalitäten wie Audio, visuell und Text identifiziert werden. Aufgrund des geringen Beitrags nichtverbaler Modalitäten zur Emotionserkennung gilt multimodale ERC jedoch als eine herausfordernde Aufgabe. In dieser Arbeit schlagen wir das Teacher-leading Multimodal Fusion Netzwerk für ERC (TelME) vor. TelME integriert Kreuzmodalwissensverteilung, um Informationen von einem Sprachmodell, das als Lehrer fungiert, an die nichtverbalen Schüler zu übertragen und damit die Effizienz der schwachen Modalitäten zu optimieren. Anschließend kombinieren wir multimodale Merkmale mittels eines verschiebenden Fusionsansatzes, bei dem die Schülernetzwerke den Lehrer unterstützen. TelME erzielt Spitzenleistungen im MELD-Datensatz, einem mehrsprachigen Konversationsdatensatz für ERC. Abschließend demonstrieren wir die Effektivität unserer Komponenten durch zusätzliche Experimente.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp