要約
本研究は、3次元可変モデル (3DMM) と3次元顔ランドマークのシナジー過程から学習し、完全な3次元顔形状を予測することに焦点を当てています。これには、3次元アライメント、顔の向き、および3次元顔モデリングが含まれます。我々のシナジー過程では、3DMMパラメータと3Dランドマークの表現サイクルを活用しています。3Dランドマークは、3DMMパラメータによって構築された顔メッシュから抽出および精緻化することができます。その後、表現方向を逆転させることで、疎な3Dランドマークから3DMMパラメータを予測することが情報フローの改善に寄与することを示しています。これらを組み合わせて、3Dランドマークと3DMMパラメータの関係を利用したシナジー過程を作り出し、両者が協調してより優れた性能に貢献します。我々は Facial Geometry Prediction の全タスクにおいて広範囲にわたる検証を行い、様々な状況下で優れたかつ堅牢な性能を示すことを確認しました。特に、単純かつ広く使用されているネットワーク操作のみを使用することで、高速かつ正確な Facial Geometry Prediction を達成しています。コードとデータ: https://choyingw.github.io/works/SynergyNet/