3D顔再構成における顔部分セグメンテーションの幾何学的ガイダンス

3Dモーファブルモデル（3DMM）は、さまざまな応用分野で有望な3次元顔再構成を提供しています。しかし、既存の手法は監督信号の不足、例えばスパースまたは不正確なランドマークのために、極端な表情を持つ顔の再構成に苦戦しています。セグメンテーション情報には、顔再構成に効果的な幾何学的コンテキストが含まれています。一部の試みでは、直感的に微分可能なレンダラーを使用して、再構成されたシルエットとセグメンテーションを比較していますが、これには局所最適解や勾配不安定性などの問題がつきものです。本論文では、Part Re-projection Distance Loss (PRDL) を導入することで、顔部セグメンテーションの幾何学的情報を完全に活用します。具体的には、PRDL は顔部セグメンテーションを2次元ポイントに変換し、再構成結果を画像平面上に再投影します。その後、グリッドアンカーを導入し、これらのアンカーからポイントセットまでの異なる統計的距離を計算することで、PRDL は幾何学的記述子を確立し、顔再構成のためのポイントセットの分布を最適化します。PRDL はレンダラーに基づく手法と比較して明確な勾配を持ち、広範囲にわたる定量的および定性的実験において最先端の再構成性能を示しています。当プロジェクトは以下のURLで公開されています: https://github.com/wang-zidu/3DDFA-V3 。