野生画像からの高精度かつ詳細な顔再構築を実現する階層的表現ネットワーク

3DMMの低次元表現能力という性質上、従来の3DMMベースの顔再構成（Face Reconstruction, FR）手法の多くは、しわやくぼみといった高周波数の顔部細部を正確に復元できていない。一部の手法では、細部マップや非線形演算を導入することでこの課題に取り組んではいるが、依然として再構成結果のリアルさに欠けるのが現状である。本論文では、単一画像から高精度かつ詳細な顔再構成を実現するため、新たな階層的表現ネットワーク（Hierarchical Representation Network, HRN）を提案する。具体的には、形状の分離（geometry disentanglement）を実装し、階層的表現を導入することで、顔の詳細モデリングを実現している。同時に、顔部の細部に関する3D事前知識（3D priors）を組み込むことで、再構成結果の精度と現実性を向上させている。さらに、形状と外観のより良い分離を実現するため、デリタッチングモジュール（de-retouching module）も提案している。注目すべきは、本フレームワークが異なる視点間の細部の一貫性を考慮することで、マルチビュー形式への拡張が可能である点である。単一ビュー用およびマルチビュー用の2つのFRベンチマークにおいて広範な実験を行い、本手法が既存手法に比べて再構成精度および視覚的効果の両面で優れていることを実証した。最後に、高忠実度顔再構成研究を促進するため、高品質な3D顔データセット「FaceHD-100」を公開した。プロジェクトの公式ページは以下の通り：https://younglbw.github.io/HRN-homepage/。