多尺度促進自己調整相関学習による顔の動作単位検出

顔の動作単位（AU）検出は、感情計算とソーシャルロボティクスにおいて重要なタスクであり、顔の表情を通じて表現される感情を特定するのに役立ちます。解剖学的に、AUには無数の相関関係があり、これらは豊富な情報を含み、AU検出にとって不可欠です。従来の手法では、専門家の経験や特定のベンチマークにおける統計的な規則に基づいて固定的なAU相関関係を使用していましたが、手作業で設定した方法では複雑なAU間の相関関係を包括的に反映することは困難でした。これに対し、完全に接続されたグラフを用いてこれらの依存関係を網羅的に学習する代替手法も存在します。しかし、これらのアプローチは計算量の爆発的な増加や大規模データセットへの高い依存性を引き起こす可能性があります。本論文では、これらの課題に対処するために、計算量を抑制しつつAU相関関係を自己調整的に学習する新しい方法である自己調整型AU相関学習（SACL: Self-adjusting AU-correlation Learning）手法を提案します。この手法は、ネットワーク内の異なる段階で抽出された異なるレベルのAU運動と感情表現情報の特性を効率的に活用することで、適応的にAU相関グラフを学習し更新します。さらに、本論文では多尺度学習が相関情報抽出における役割を探り、より良いAU検出性能を達成するために単純かつ効果的な多尺度特徴学習（MSFL: Multi-scale Feature Learning）手法を開発しました。AU相関情報を多尺度特徴と統合することにより、提案手法は最終的なAU検出のためにより堅牢な特徴表現を得ることができます。広範囲にわたる実験結果から、提案手法が一般的に使用されているAU検出ベンチマークデータセットにおいて最良の方法よりも少ないパラメータ数（28.7％）とFLOPs（12.0％）で最先端の方法を超える性能を示していることが確認されました。本手法に関するコードは \url{https://github.com/linuxsino/Self-adjusting-AU} で公開されています。