SADRNet: 自己合わせ双方向顔回帰ネットワークによる堅牢な3D高密度顔アライメントと再構成

非制御環境下での三次元顔の密集アライメントと再構成は、部分的な顔情報が遮蔽や大角度の顔画像でしばしば欠落しているため、難問となっています。大角度の頭部変化も解空間を拡大し、モデリングをより困難にします。私たちの主なアイデアは、遮蔽と姿勢をモデル化することで、この難題をいくつかの比較的管理可能なサブタスクに分解することです。この目的のために、Self-aligned Dual face Regression Network (SADRNet) と呼ばれるエンドツーエンドのフレームワークを提案します。このネットワークは、姿勢依存型の顔と姿勢非依存型の顔を予測します。これらは遮蔽認識型の自己アライメントによって組み合わされ、最終的な三次元顔が生成されます。AFLW2000-3D および Florence の2つの主要ベンチマークにおける広範な実験により、提案手法が既存の最先端手法に対して著しく優れた性能を達成することが示されています。