要約
感情表現とは、他者に自らの感情状態や態度を伝えるために用いられる行動を指す。これらは言語的および非言語的なコミュニケーションを通じて表現される。複雑な人間行動は、主に顔面、声帯、身体の動きといった複数モダリティからの身体的特徴を分析することで理解可能となる。近年、人間行動分析の分野において、自然発生的なマルチモーダル感情認識が広く研究されている。本論文では、音声・視覚モダリティを用いた感情認識を目的とした、新たな深層学習ベースのアプローチを提案する。本手法は、知識蒸留（knowledge distillation）や高性能な深層ネットワークアーキテクチャといった近年の深層学習の進展を活用している。音声モダリティと視覚モダリティの深層特徴表現は、モデルレベルの統合戦略に基づいて融合される。その後、再帰型ニューラルネットワーク（RNN）を用いて時間的動態を捉える。提案手法は、RECOLAデータセットにおける感情の「価値（valence）」予測において、既存の最先端手法を顕著に上回った。さらに、本研究で提案する視覚的顔面表情特徴抽出ネットワークは、AffectNetおよびGoogle Facial Expression Comparisonデータセットにおいても、既存の最先端結果を上回る性能を達成した。