HyperAIHyperAI

Command Palette

Search for a command to run...

自己教師付きモノクロ3D顔再構成:遮蔽を考慮したマルチビュー幾何学的一貫性によるもの

Jiaxiang Shang Tianwei Shen Shiwei Li Lei Zhou Mingmin Zhen Tian Fang Long Quan

概要

近年、単一視点画像を用いてモデルを学習するベースのアプローチが、モノクローラル3D顔再構成において有望な結果を示しているが、これらは顔の姿勢と深度に関する不適切な定義(ill-posed)問題に直面している。従来の手法が2D特徴の制約のみを課すのに対し、本研究では多視点幾何的一貫性を活用した自己教師学習アーキテクチャを提案する。これにより、顔の姿勢および深度推定に対する信頼性の高い制約を提供する。まず、遮蔽を考慮した視点合成手法を提案し、自己教師学習に多視点幾何的一貫性を適用する。さらに、多視点的一貫性を強化するため、ピクセル的一貫性損失、深度的一貫性損失、および顔のランドマークに基づくエピポーラ損失の3つの新しい損失関数を設計した。本手法は、表情、姿勢、照明条件の大きな変化下でも高い精度とロバスト性を示す。顔アライメントおよび3D顔再構成のベンチマークにおける包括的な実験により、最先端手法を上回る性能が確認された。コードおよびモデルは、https://github.com/jiaxiangshang/MGCNet にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています