要約
マルチモーダル感情分析は、ソーシャルメディア投稿やカスタマーサービス通話、ビデオブログなどへの関連性から、近年注目を集めている。本論文では、マルチモーダル感情分析の3つの側面に着目する。1. 複数モダリティ間の相互作用学習（すなわち、複数のモダリティが感情にどのように寄与するか）、2. マルチモーダル相互作用における長期依存関係の学習、3. 単モーダルおよび跨モーダル特徴の融合である。これらのうち、跨モーダル相互作用の学習が本問題において有益であることが明らかになった。我々は、2つのベンチマークデータセット、CMU Multimodal Opinion level Sentiment Intensity（CMU-MOSI）およびCMU Multimodal Opinion Sentiment and Emotion Intensity（CMU-MOSEI）コーパスを用いて実験を行った。これらのタスクにおいて、本手法はそれぞれ83.9%および81.1%の精度を達成し、現在の最先端手法と比較して、絶対値でそれぞれ1.6%および1.34%の向上を示した。