HyperAIHyperAI

Command Palette

Search for a command to run...

自己教師付き3D顔再構成:条件付き推定を用いた手法

Yandong Wen Weiyang Liu Bhiksha Raj Rita Singh

概要

本稿では、2次元単一視点画像から3次元顔パラメータを自己教師学習による動画からの学習によって推定するための条件付き推定(Conditional Estimation, CEST)フレームワークを提案する。CESTは「解析による合成(analysis by synthesis)」のプロセスに基づくものであり、顔画像から3次元顔パラメータ(形状、反射率、視点、照明)を推定し、それらを再合成して2次元顔画像を再構成する。明示的なラベルにアクセスできない状況下でも、意味的に有意な3次元顔パラメータを学習するため、CESTは異なる3次元顔パラメータ間の統計的依存関係を考慮してそれらを連携して推定する。具体的には、任意の3次元顔パラメータの推定は、与えられた画像に加えて、すでに推定された顔パラメータにも条件付けられる。さらに、動画フレーム間における反射率の対称性と一貫性を活用することで、顔パラメータの分離性(disentanglement)を向上させている。この反射率の対称性と一貫性を組み込むための新規な戦略と併せることで、CESTは野生環境(in-the-wild)の動画クリップを用いて効率的に学習可能である。定性的および定量的な実験により、CESTの有効性が確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
自己教師付き3D顔再構成:条件付き推定を用いた手法 | 記事 | HyperAI超神経