透視投影における3D顔再構成に向けて：単眼画像からの6DoF顔ポーズ推定

3次元顔再構築において、透視投影を簡略化するため、直交投影が広く用いられてきた。この近似は、カメラと顔の距離が十分に離れている場合に良好な性能を発揮する。しかし、顔がカメラに非常に近い場合や、カメラ軸に沿って移動する場合など、透視投影による歪みの影響により、再構築精度が低下し、時間的なフィッティングが不安定になる問題が生じる。本論文では、透視投影下における単一画像からの3次元顔再構築問題に取り組む。具体的には、正規化空間における3次元顔形状の同時再構築と、2次元ピクセルと3次元点の対応関係の学習を可能にする深層ニューラルネットワーク「Perspective Network（PerspNet）」を提案する。このネットワークにより、透視投影を表現するための6自由度（6DoF）顔姿勢を推定することが可能となる。さらに、透視投影下での3次元顔再構築手法の学習と評価を可能にする大規模なARKitFaceデータセットを提供する。このデータセットには、902,724枚の2次元顔画像が含まれており、それぞれに真の3次元顔メッシュと注釈された6DoF姿勢パラメータが付与されている。実験結果から、本手法は現在の最先端手法と比較して顕著な性能向上を達成することが示された。コードおよびデータは、https://github.com/cbsropenproject/6dof_face で公開されている。