単眼3D顔再構成のための知覚形状損失

単眼3D顔再構成は広く研究されているトピックであり、既存の手法では、高速なニューラルネットワーク推論または顔の幾何学をオフラインで反復的に再構成する方法で問題に取り組んでいます。いずれの場合も、光度損失やランドマーク再投影損失などの項を含む、慎重に設計されたエネルギー関数が最小化されます。本研究では、特定の画像が与えられた場合の人間が3D顔再構成の品質をどのように認識するかに基づいて、単眼顔キャプチャ用の新しい損失関数を提案します。人間の視覚システムにおいて影（シャドウ）が3D形状を強く示す指標であることは広く知られています。したがって、私たちの新しい「知覚的」形状損失は、影の手がかりのみを使用して3D顔推定の品質を判断することを目指しています。この損失関数は、ディスクリミネーター形式のニューラルネットワークとして実装され、入力された顔画像と幾何学推定値の影付きレンダリングを受け取り、影付きレンダリングが与えられた画像とどれだけ一致しているかを知覚的に評価するスコアを予測します。この「批評家」ネットワークはRGB画像と幾何学レンダリングのみを対象としており、シーン内のアルベドや照明の推定を必要としません。さらに、当該損失関数は完全に画像空間で動作し、メッシュトポロジーには依存しません。私たちは、単眼3D顔最適化および深層ニューラルネットワーク回帰における従来のエネルギー項と新しい知覚的形状損失を組み合わせることにより、現行の最先端結果を超えることが可能であることを示しています。