HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen einer sprachgeleiteten adaptiven Hyper-Modaltitätsdarstellung für multimodale Sentimentanalyse

Haoyu Zhang Yu Wang Guanghao Yin Kejun Liu Yuanyuan Liu Tianshu Yu

Zusammenfassung

Obwohl die multimodale Sentimentanalyse (MSA) aufgrund der Nutzung reicher Informationen aus mehreren Quellen (z. B. Sprache, Video und Audio) als wirksam erwiesen hat, können potenziell sentiment-irrelevante und konflikthafte Informationen zwischen den Modalitäten die weitere Verbesserung der Leistung beeinträchtigen. Um dies zu mildern, präsentieren wir den Adaptive Language-guided Multimodal Transformer (ALMT), der ein Adaptive Hyper-modality Learning (AHL)-Modul enthält, das unter Anleitung von Sprachmerkmalen auf unterschiedlichen Skalen eine Repräsentation lernt, die Irrelevanz und Konflikte zwischen visuellen und auditiven Merkmalen unterdrückt. Mit der so gewonnenen Hyper-modality-Repräsentation kann das Modell durch multimodale Fusion eine ergänzende und gemeinsame Repräsentation erzielen, die für eine effektive MSA nutzbar ist. In der Praxis erreicht ALMT state-of-the-art Ergebnisse auf mehreren gängigen Datensätzen (z. B. MOSI, MOSEI und CH-SIMS), und umfangreiche Ablationstudien belegen die Wirksamkeit und Notwendigkeit unseres Mechanismus zur Unterdrückung von Irrelevanz und Konflikten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen einer sprachgeleiteten adaptiven Hyper-Modaltitätsdarstellung für multimodale Sentimentanalyse | Paper | HyperAI