Joyful: マルチモーダル感情認識のための連合モダリティ統合とグラフコントラスト学習

マルチモーダル感情認識は、対話における複数モダリティの各発話から感情を認識することを目的としており、人間と機械の相互作用における応用が注目されている。現在のグラフベースの手法は、対話におけるグローバルな文脈特徴とローカルな多様な単一モダリティ特徴を同時に表現できていない。さらに、グラフ層の数が増加するにつれて過剰な平滑化（over-smoothing）に陥りやすいという課題がある。本論文では、マルチモーダル感情認識のための同時モダリティ統合とグラフ対比学習手法（Joyful）を提案する。本手法では、モダリティ統合、対比学習、感情認識の3つのタスクを統合的に最適化する。具体的には、まずグローバルな文脈特徴と単一モダリティ特有の特徴間における深層的な相互作用と統合を可能にする新たなマルチモーダル統合機構を設計する。次に、異なる感情を持つサンプルに対してより区別性の高い表現を学習するため、ビュー間およびビュー内での対比損失を導入したグラフ対比学習フレームワークを提案する。3つのベンチマークデータセットを用いた広範な実験の結果、Joyfulはすべてのベースライン手法と比較して最先端（SOTA）の性能を達成した。