位置マップ回帰ネットワークを用いた3D顔再構成と高密度アライメントの同時実行

私たちは3次元顔構造を再構築しつつ、高密度なアライメントを提供する単純な手法を提案します。この目的を達成するために、UV空間に完全な顔の3次元形状を記録する2次元表現であるUV位置マップというものを設計しました。その後、単一の2次元画像からこれを回帰するためのシンプルな畳み込みニューラルネットワーク（Convolutional Neural Network）を訓練しました。また、訓練中に損失関数に重みマスクを統合することで、ネットワークの性能向上にも取り組んでいます。当手法は任意の事前顔モデルに依存せず、顔の完全な幾何学構造と意味論的な情報を再構築することができます。さらに、私たちのネットワークは非常に軽量で、画像処理にはわずか9.8ミリ秒しかかかりません。これは以前の研究よりも極めて高速です。複数の困難なデータセットに対する実験では、当手法が再構築およびアライメントタスクにおいて他の最先端手法を大幅に上回ることが示されています。