
顔面アライメントにおけるオクルージョン問題は、位置推定性能を著しく低下させる。現在の大多数の解決策は、新たなオクルージョンデータのラベル付けや境界推定の導入、より深いモデルの積み重ねを通じてニューラルネットワークのロバスト性を向上させることに注力している。しかし、顔面の文脈情報の大部分が欠落する極端なオクルージョン(平均オクルージョン率50%以上)において、モデルの性能劣化は依然として顕著である。本研究では、顔面の階層構造をニューラルネットワークでモデル化するアプローチが、極端なオクルージョンに対処する上でより有望であると主張する。驚くべきことに、近年の研究においては、ニューラルネットワークを用いた顔面階層の表現に十分な注力がなされていない。本論文では、顔面構造の視点不変性に着想を得た新たなネットワークアーキテクチャ「GlomFace」を提案する。このアーキテクチャは、さまざまなオクルージョンに対して顔面の階層構造をモデル化することを目的としている。具体的には、GlomFaceは機能的に二つのモジュールに分かれる:部分-全体階層モジュールと全体-部分階層モジュールである。前者は顔面部位間の部分-全体階層的依存関係を捉え、多スケールのオクルージョン情報を抑制するのに対し、後者は顔面部位間の全体-部分階層的関係を構築することで、ニューラルネットワークに構造的推論能力を組み込む。その結果、GlomFaceは顔面階層構造との対応関係を持つため、明確なトポロジカルな解釈が可能となる。広範な実験結果から、提案手法GlomFaceは既存の最先端手法と同等の性能を発揮することが示され、特に極端なオクルージョン条件下での優れた性能が確認された。モデルの公開は、https://github.com/zhuccly/GlomFace-Face-Alignment にて行っている。