3D フェイス変形モデル「In-the-Wild」

3Dモーファブルモデル（3DMM）は、3次元顔形状とテクスチャの強力な統計モデルであり、単一画像から顔形状を再構築する最先端の手法の一つです。新しい3Dセンサーの登場により、中立的な表情だけでなく感情表現のある顔も含む多くの3D顔データセットが収集されました。しかし、これらのデータセットはすべて制御された条件下で取得されています。したがって、このようなデータから強力な3D顔形状モデルを学習することは可能ですが、「野生」状態（"in-the-wild"）で撮影された顔を再構築するのに十分な統計テクスチャモデルを構築するのは困難です。本論文では、我々が知る限り初めて、「野生」状態の3DMMを提案します。これは、アイデンティティと表情を両方説明する強力な統計形状モデルと、「野生」状態のテクスチャモデルを組み合わせたものです。我々は、「野生」状態のテクスチャモデルを使用することで、適合手順が大幅に簡素化されることを示します。なぜなら、照明パラメータに関する最適化を行う必要がなくなるからです。さらに、任意の画像での3DMMの適合に向けた新しい高速アルゴリズムを提案します。最後に、比較的制約の少ない条件下で最初の3D顔データベースを収集し、最先端の性能を持つ定量評価結果を報告します。「野生」状態の標準的な顔データベースにおける補完的な定性的再構築結果も示しています。また、Menpoプロジェクトの一環として、当技術のオープンソース実装を公開しています。