多尺度動的および階層的な関係モデルによる顔の動作単位認識

人間の表情動作単位（AUs）は階層的な関係で相互に関連しており、空間的および時間的領域において互いに連携しているだけでなく、同じまたは近接した顔の部位にあるAUsは異なる部位にあるものよりも強い関連性を示します。既存の手法ではこのようなAUs間の階層的相互依存関係を完全にモデル化していませんが、本論文では、AUsの発現認識のために、多尺度のAUs関連動態と階層的な空間時間的関係を包括的にモデル化する方法を提案します。具体的には、まず異なる空間スケールでのフレーム間の顔面動態を明確に捉えるために、新しい多尺度時差ネットワークと適応重み付けブロックを提案します。これは特に、異なるAUsの活性化範囲と大きさの異質性を考慮しています。次に、二段階戦略を導入し、空間分布に基づいてAUs間の関係性を階層的にモデル化します（すなわち、局所的なAU関係モデリングとクロスリージョンのAU関係モデリング）。BP4DおよびDISFAデータセットでの実験結果は、我々の手法がAU発現認識分野における最新の最先端技術であることを示しています。我々のコードは公開されており、以下のURLからアクセスできます: https://github.com/CVI-SZU/MDHR.