自己教師付きモノクロ3D顔再構成：遮蔽を考慮したマルチビュー幾何学的一貫性によるもの

近年、単一視点画像を用いてモデルを学習するベースのアプローチが、モノクローラル3D顔再構成において有望な結果を示しているが、これらは顔の姿勢と深度に関する不適切な定義（ill-posed）問題に直面している。従来の手法が2D特徴の制約のみを課すのに対し、本研究では多視点幾何的一貫性を活用した自己教師学習アーキテクチャを提案する。これにより、顔の姿勢および深度推定に対する信頼性の高い制約を提供する。まず、遮蔽を考慮した視点合成手法を提案し、自己教師学習に多視点幾何的一貫性を適用する。さらに、多視点的一貫性を強化するため、ピクセル的一貫性損失、深度的一貫性損失、および顔のランドマークに基づくエピポーラ損失の3つの新しい損失関数を設計した。本手法は、表情、姿勢、照明条件の大きな変化下でも高い精度とロバスト性を示す。顔アライメントおよび3D顔再構成のベンチマークにおける包括的な実験により、最先端手法を上回る性能が確認された。コードおよびモデルは、https://github.com/jiaxiangshang/MGCNet にて公開されている。