要約
顔のアクションユニット（AU）検出と顔合わせは、顔のランドマークがAUの位置を正確に提供し、意味のある局所特徴を抽出するために役立つため、密接に関連したタスクです。既存の多くのAU検出研究では、顔合わせを前処理として扱い、これらの2つのタスクを独立して処理することが一般的です。本論文では、これまでに探索されていない共同AU検出と顔合わせのための新しいエンドツーエンド深層学習フレームワークを提案します。特に、マルチスケール共有特徴量を最初に学習し、顔合わせの高次元特徴量をAU検出に投入します。さらに、正確な局所特徴量を抽出するためには、各AUの注意マップを適応的に洗練するための適応的注意学習モジュールを提案しています。最後に、組み立てられた局所特徴量は、顔合わせ特徴量と全体的な特徴量と統合され、AU検出のために利用されます。BP4DおよびDISFAベンチマークでの実験結果は、当社のフレームワークが現行最先端の方法よりも著しく優れていることを示しています。注：「エンドツーエンド」は「end-to-end」に対応する日本語表現で、「適応的注意学習モジュール」は「adaptive attention learning module」に対応する日本語表現です。