単一画像を用いた3D顔再構成と野生環境の2D顔画像を活用した支援

単一の2D画像からの3D顔再構成は、広範な応用を持つ難問です。最近の手法では、通常、2D画像から3Dモーファブルモデル（3DMM）の係数を回帰するCNNベースの3D顔モデルを学習することを目指しています。しかし、3Dアノテーション付きの訓練データの不足がこれらの手法の性能を大幅に制限しています。この問題を緩和するために、我々は「野生」状態の2D顔画像とノイジーなランドマーク情報を効果的に利用できる新しい2D支援自己監督学習（2DASL）手法を提案します。具体的には、疎な2D顔ランドマークを追加情報として取り入れ、2Dランドマークと3Dランドマーク予測を自己マッピングプロセスとして捉える4つの新しい自己監督スキームを導入します。これらには、2Dおよび3Dランドマーク自己予測の一貫性、2Dランドマーク予測におけるサイクル一貫性、そしてランドマーク予測に基づく予測された3DMM係数に対する自己批評が含まれます。これらの4つの自己監督スキームを使用することで、2DASL手法は従来のペアリングされた2Dから3Dへのアノテーションへの依存度を大幅に軽減し、追加の3Dアノテーションなしで高品質な3D顔モデルを作成できます。複数の困難なデータセットでの実験結果は、我々の手法が3D顔再構成と密集顔合わせにおいて既存の最先端技術よりも大幅に優れていることを示しています。注：「野生」状態とは、「in-the-wild」という表現を日本語で意訳したものです。これは自然環境下や非制御条件下で撮影された画像を指します。