単一画像からの大姿勢3D顔再構成をCNN回帰により直接的に実現

3D顔再構成は、非常に困難な基本的なコンピュータビジョンの問題です。現在のシステムでは、多くの場合、複数の顔画像（時には同一の被験者から）を入力として想定しており、大範囲の顔姿勢、表情、非一様な照明条件下での密集対応を確立するなど、多くの方法論的な課題に対処する必要があります。一般的にこれらの手法は、モデルの構築と適合のために複雑で効率の悪いパイプラインを必要とします。本研究では、2D画像と3D顔モデルまたはスキャンからなる適切なデータセットを使用して畳み込みニューラルネットワーク（CNN）を訓練することで、これらの制約の多くを克服することを目指しています。提案するCNNは単一の2D顔画像のみを使用し、正確なアライメントも不要で、画像間での密集対応も確立しません。任意の顔姿勢や表情に対して動作し、3D顔幾何学全体（顔の非可視部分を含む）を再構成することができます。これは訓練時に3D変形可能なモデルの構築とテスト時に適合を行うことなく実現されます。私たちは単純なCNNアーキテクチャを使用して、単一の2D画像から3D顔幾何学の体積表現への直接回帰を行います。また、関連する Facial Landmark Localization タスクが提案されたフレームワークに組み込まれることで再構成品質が向上し、特に大範囲の姿勢や表情の場合にその効果が見られることも示しています。テストコードおよび事前学習済みモデルはオンラインで公開されます（http://aaronsplace.co.uk/papers/jackson2017recon）。