9日前

HifiFace:3D形状および意味的Priorを活用した高忠実度顔交換

Yuhan Wang, Xu Chen, Junwei Zhu, Wenqing Chu, Ying Tai, Chengjie Wang, Jilin Li, Yongjian Wu, Feiyue Huang, Rongrong Ji
HifiFace:3D形状および意味的Priorを活用した高忠実度顔交換
要約

本研究では、ソース顔の顔形状を良好に保持しつつ、写真並みのリアリズムを実現する高忠実度顔交換手法「HifiFace」を提案する。従来の顔交換手法が識別モデルを用いてアイデンティティの類似性を維持するのみであるのに対し、本手法では3D形状に敏感なアイデンティティ表現を導入し、3DMM(3D Face Morphable Model)および3D顔再構築手法による幾何学的監視を活用して顔形状を制御する。また、エンコーダーとデコーダーの特徴量の最適な統合を実現するため、セマンティック顔融合モジュールを導入し、適応的ブレンド処理を実現することで、より写真並みの結果を生成する。野外顔画像を用いた広範な実験により、本手法が従来の最先端手法よりも顔のアイデンティティ、特に顔形状の保持が優れており、より高品質な写真リアリズムを達成できることを確認した。

HifiFace:3D形状および意味的Priorを活用した高忠実度顔交換 | 最新論文 | HyperAI超神経