文脈的マルチモーダル注意機構によるマルチモーダルセンチメント分析

マルチモーダル感情分析は、テキスト、視覚的、音声的といった異なる入力モダリティを効果的に統合するという課題を抱えている。本論文では、発話レベルの感情予測に向け、文脈情報を活用する再帰型ニューラルネットワークに基づくマルチモーダルアテンションフレームワークを提案する。本手法は、マルチモーダルかつマルチ発話表現に対してアテンションを適用し、それらの表現間における寄与度の高い特徴を学習することを試みる。提案手法の有効性を、CMU Multi-modal Opinion-level Sentiment Intensity（CMU-MOSI）コーパスおよび最近公開されたCMU Multi-modal Opinion Sentiment and Emotion Intensity（CMU-MOSEI）コーパスという2つのマルチモーダル感情分析ベンチマークデータセット上で評価した。評価結果から、MOSIデータセットおよびMOSEIデータセットにおいて、それぞれ82.31％および79.80％の精度を達成した。これは、それぞれのデータセットにおいて、既存の最先端モデルに対して約2ポイントおよび1ポイントの性能向上を示している。