要約
マルチモーダル感情分析は、機械が感情を認識・解釈・表現できるようにするという目的を持つ、注目されている研究分野である。複数モーダル間の相互作用を通じて、発話者のより包括的な感情的特徴を捉えることが可能となる。Bidirectional Encoder Representations from Transformers（BERT）は、効率的な事前学習言語表現モデルであり、質問応答や自然言語推論などの11の自然言語処理タスクにおいて、微調整（fine-tuning）により新たな最優秀性能を達成している。しかし、これまでの多くの研究ではBERTの微調整がテキストデータに限定されており、マルチモーダル情報を導入することでより優れた表現を学習する方法については、まだ検討の余地がある。本論文では、テキストと音声モーダルの相互作用を活用して事前学習済みBERTモデルを微調整する手法として、Cross-Modal BERT（CM-BERT）を提案する。CM-BERTの核心となるモジュールである「マスク付きマルチモーダルアテンション」は、テキストと音声の両モーダル情報を統合し、動的に単語の重みを調整する仕組みである。我々の手法は、公開のマルチモーダル感情分析データセットであるCMU-MOSIおよびCMU-MOSEIを用いて評価した。実験の結果、従来のベースラインおよびテキストのみを用いたBERTの微調整と比較して、すべての評価指標において顕著な性能向上が確認された。さらに、マスク付きマルチモーダルアテンションの可視化により、音声モーダル情報を導入することで単語の重みを合理的に調整できることを実証した。