要約
3次元顔形状は、2次元のものよりも表現力が豊かで、視点の一貫性も高いです。しかし、単一画像における3次元顔ランドマークの位置特定は、3次元透視図におけるランドマークの曖昧な性質により困難を伴います。既存の手法では、一般的に最適でない2段階戦略が採用されており、2次元ランドマーク位置特定とその後の深度推定を行っています。本論文では、3次元顔ランドマーク位置特定をより効果的にエンドツーエンドで行うためのJoint Voxel and Coordinate Regression (JVCR) 法を提案します。まず、各ボクセルが3次元ランドマークである確率を符号化するためのコンパクトな体積表現を提案します。この表現の次元数は目標となるランドマークの数に関わらず固定されるため、次元の呪い（curse of dimensionality）を回避できます。次に、粗い表現から細かい表現へと推定を行うスタックされたアワーバルネットワークを採用し、その後に推定された体積を受け取り3次元座標を回帰する3次元畳み込みネットワークを使用します。これにより、ニューラルネットワークがより効率的にランドマーク間の3次元構造制約を学習することが可能になります。さらに、提案したパイプラインはエンドツーエンドでの学習を可能にし、3次元顔ランドマーク位置特定の堅牢性と精度を向上させます。当手法の有効性は3DFAWおよびAFLW2000-3Dデータセットにおいて検証されました。実験結果は、提案手法が既存手法と比較して最先端の性能を達成していることを示しています。