Norface: 識別正規化による表情分析の改善

顔表情分析は、アイデンティティ、頭部の姿勢、背景などの予期せぬタスクに無関係なノイズの影響により、依然として困難な課題となっています。本論文では、この問題に対処するため、Action Unit (AU) 分析と Facial Emotion Recognition (FER) タスクの両方に統一的に適用可能な新しいフレームワークである Norface を提案します。Norface は正規化ネットワークと分類ネットワークから構成されています。まず、慎重に設計された正規化ネットワークが直接的に上記のタスクに無関係なノイズを除去し、顔表情の一貫性を維持しながらすべての元画像を共通のアイデンティティと一貫した姿勢および背景に正規化することを目指します。次に、これらの追加で正規化された画像が分類ネットワークに入力されます。共通のアイデンティティやその他の要因（例えば、頭部の姿勢、背景など）により、正規化された画像は分類ネットワークが有用な表情情報をより効果的に抽出できるようにします。さらに、分類ネットワークには Mixture of Experts を組み込んでおり、顔表現の入力と複数の（AU または感情）ラベルの出力を扱うことで潜在表現を洗練しています。広範囲な実験により、アイデンティティ正規化という洞察に基づいて慎重に設計されたフレームワークが検証されました。提案手法は AU 検出、AU 強度推定、FER タスクなど複数の顔表情分析タスクにおいて既存の最先端手法を上回り、クロスデータセットタスクでも優れた性能を示しています。正規化されたデータセットとコードについては {https://norface-fea.github.io/} をご参照ください。