要約
マルチモーダル言語解析は、異なるモダリティの統合と時間的情報を捉えるという2つの要件を伴う、非常に要求の高い研究分野である。近年、多くの研究がこの分野に提案されてきたが、主に下流タスクにおける教師あり学習に焦点を当てていた。本論文では、普遍的であり、さまざまなタスクに応用可能な教師なしマルチモーダル言語表現の抽出を提案する。この目的のため、単語レベルでアライメントされたマルチモーダル系列を2次元行列にマッピングし、複数のデータセットを統合して畳み込み自己符号化器（Convolutional Autoencoders）を用いて埋め込み表現を学習する。感情分析（MOSEI）および感情認識（IEMOCAP）における広範な実験結果から、下流分類タスクにおいてロジスティック回帰アルゴリズムを単一で用いることで、ほぼ最先端の性能を達成できることが示された。また、本手法は極めて軽量であり、小さな性能低下で他のタスクや未観測データにも容易に一般化可能であり、パラメータ数もほぼ同等に保たれることを確認した。提案するマルチモーダル表現モデルはオープンソースとして公開され、マルチモーダル言語解析の応用範囲の拡大に貢献することが期待される。