HyperAIHyperAI

Command Palette

Search for a command to run...

MultiMAE-DER: Multimodaler Maskierter Autoencoder für die Dynamische Emotionserkennung

Peihao Xiang; Chaohao Lin; Kaida Wu; Ou Bai

Zusammenfassung

Dieses Papier stellt einen neuen Ansatz zur Verarbeitung multimodaler Daten für die dynamische Emotionserkennung vor, der als Multimodaler Maskierter Autoencoder für Dynamische Emotionserkennung (MultiMAE-DER) bezeichnet wird. Der MultiMAE-DER nutzt die eng miteinander verknüpften Repräsentationsinformationen in räumlich-zeitlichen Sequenzen sowohl im visuellen als auch im akustischen Modus. Durch die Nutzung eines vorge trainierten maskierten Autoencoder-Modells wird der MultiMAE-DER durch einfache und direkte Feinabstimmung erreicht. Die Leistung des MultiMAE-DER wird verbessert, indem sechs Fusionsstrategien für multimodale Eingangsequenzen optimiert werden. Diese Strategien behandeln dynamische Merkmalskorrelationen in cross-domain-Daten über räumliche, zeitliche und räumlich-zeitliche Sequenzen hinweg. Im Vergleich zu den besten bisher bekannten multimodalen überwachten Lernmodellen für dynamische Emotionserkennung erhöht der MultiMAE-DER das gewichtete durchschnittliche Recall (WAR) um 4,41 % auf dem RAVDESS-Datensatz und um 2,06 % auf dem CREMAD. Darüber hinaus erreicht der MultiMAE-DER im Vergleich zum besten bisher bekannten Modell des multimodalen selbstüberwachten Lernens eine 1,86 %- höhere WAR auf dem IEMOCAP-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp