要約
ビデオベースの顔表情認識は、与えられたビデオをいくつかの基本的な感情に分類することを目指しています。個々のフレームの顔特徴を統合する方法は、このタスクにおいて極めて重要です。本論文では、Frame Attention Networks (FAN) を提案し、エンドツーエンドのフレームワークで一部の識別力のあるフレームを自動的に強調します。ネットワークは可変数の顔画像を含むビデオを受け取り、固定次元の表現を生成します。全体的なネットワークは2つのモジュールから構成されています。特徴埋め込みモジュールは深層畳み込みニューラルネットワーク (CNN) であり、顔画像を特徴ベクトルに埋め込みます。フレーム注意モジュールは複数の注意重みを学習し、それらを使用して特徴ベクトルを適応的に集約して単一の識別力のあるビデオ表現を作成します。CK+ および AFEW8.0 データセットで広範な実験を行いました。提案した FAN は他の CNN ベースの手法と比較して優れた性能を示し、CK+ において最先端の性能を達成しました。