ワイルド環境におけるマルチモーダル言語分析：CMU-MOSEIデータセットと解釈可能な動的ファージョングラフ

人間のマルチモーダル言語の分析は、自然言語処理（NLP）分野における新興の研究分野である。この言語は本質的にマルチモーダル（異質性を持つ）、順次的かつ非同期的であり、言語（単語）、視覚（表情）、音声（副言語的要素）の各モダリティが、非同期的に連携したシーケンスとして構成されている。リソースの観点から見ると、このような言語形式に関する深層的な研究を可能にする大規模データセットの存在が真に求められている。本論文では、感情分析および感情認識に関するこれまでで最大規模のデータセットである「CMUマルチモーダル意見感情・感情強度データセット（CMU-MOSEI）」を紹介する。CMU-MOSEIのデータと、新たなマルチモーダル統合手法である「ダイナミックフュージョングラフ（DFG）」を用いて、人間のマルチモーダル言語におけるモダリティ間の相互作用を実験的に探求した。従来提案された統合手法とは異なり、DFGは高い解釈可能性を備えており、既存の最先端手法と比較しても競争力のある性能を達成している。