コンテキストを意識した感情認識ネットワーク

従来の感情認識技術は、主に顔表情分析に焦点を当てていたため、感情反応を包括的に表現するコンテキストを十分に符号化する能力が限られていました。本研究では、人間の顔表情だけでなく、コンテキスト情報も共同かつ強化的に利用するコンテキスト対応型感情認識用の深層ネットワーク（CAER-Net）を提案します。この手法の核心は、視覚シーンにおいて人間の顔を隠し、注意メカニズムに基づいて他のコンテキスト情報を探索することです。我々のネットワークは2つのサブネットワークで構成されており、1つは顔領域とコンテキスト領域の特徴をそれぞれ抽出する2ストリームエンコーディングネットワーク、もう1つはこれらの特徴を適応的に融合するアダプティブフュージョンネットワークです。また、質的および量的な両面で既存のベンチマークよりも適切な新しいコンテキスト対応型感情認識用ベンチマーク（CAER）を導入します。複数のベンチマークにおいて、CAER-Netはコンテキストが感情認識に及ぼす効果を証明しています。当該データセットはhttp://caer-dataset.github.io から入手可能です。