HiFace：静的および動的詳細情報を学習する高精細3D顔再構成

3D可変モデル（3DMMs）は、単一の画像から忠実かつアニメーション可能な3D顔面形状を再構成する上で大きな可能性を示している。顔面形状は粗い形状に加え、静的細部（例：個人固有の外観）および動的細部（例：表情に伴うしわ）の影響を受ける。従来の手法は、画像レベルの教師信号のみを用いて静的細部と動的細部を明確に分離することができず、結果として現実性に欠ける再構成が生じていた。本論文では、高忠実度の3D顔面再構成を目的とし、静的細部と動的細部を明示的にモデル化するHiFaceを提案する。具体的には、静的細部を変位基底の線形結合として、動的細部を極化された表情を持つ2つの変位マップ間の線形補間として表現する。合成データおよび実世界データを用いた両方のデータセット上で、複数の損失関数を活用して粗い形状と細部を共同で学習することで、HiFaceはアニメーション可能な詳細を備えた高忠実度の3D形状を再構成可能となる。広範な定量的および定性的な実験により、HiFaceが最先端の再構成品質を達成し、静的および動的細部の両方を忠実に回復できることを示した。本研究のプロジェクトページは以下のURLでご確認いただけます：https://project-hiface.github.io。