要約
感情認識は、医療や自動運転など多岐にわたる分野における応用可能性から、研究コミュニティの注目を集めている。本研究では、音声感情認識（SER）と顔面感情認識（FER）から構成される自動感情認識システムを提案した。SERの実装において、事前学習済みのxlsr-Wav2Vec2.0変換器を用い、埋め込み抽出とファインチューニングの2つの転移学習手法を評価した。最良の精度を得たのは、変換器全体をファインチューニングし、その上に多層パーセプトロン（MLP）を追加した場合であり、これは初期から学習を開始するのではなく、既存のネットワークの知識がタスクに類似している状態で学習を進める方がより安定した結果をもたらすことを裏付けている。一方、FERについては、動画から行動単位（Action Units, AUs）を抽出し、静的モデルと逐次モデル（sequential models）の性能を比較した。その結果、逐次モデルが静的モデルをわずかに上回る性能を示した。誤差分析の結果、視覚システムの性能向上には、高感情負荷フレームを検出するための検出器の導入が有効であることが示され、動画から感情情報を学習する新たなアプローチの可能性が示唆された。最後に、これらの2つのモダリティをラテント統合（late fusion）戦略で統合した結果、被験者別5分割交差検証（subject-wise 5-CV）評価においてRAVDESSデータセットで86.70％の精度を達成し、8種類の感情を分類した。これらの結果から、音声と視覚の両モダリティがユーザーの感情状態を検出する上で有意義な情報を含んでおり、その統合によって最終的なシステム性能の向上が可能であることが示された。