2Dおよび3Dフェイスアライメント問題の解決までどれほど近づいているのか？（230,000の3D顔ランドマークデータセット）

本論文は、非常に深いニューラルネットワークが既存の2次元および3次元顔アライメントデータセットで飽和に近い性能を達成するまでの距離を調査しています。この目的のために、以下の5つの貢献を行いました：(a) 最新のランドマーク局所化アーキテクチャと最新の残差ブロックを組み合わせて、初めて非常に強力なベースラインを構築し、大規模かつ合成的に拡張された2次元顔ランドマークデータセットで訓練し、最後に他のすべての2次元顔ランドマークデータセットでの評価を行いました。(b) 2次元ランドマークによってガイダンスされるネットワークを作成し、2次元ランドマーク注釈を3次元に変換して既存のすべてのデータセットを統一し、LS3D-Wという名称で最大かつ最も挑戦的な3次元顔ランドマークデータセット（約23万枚の画像）を作成しました。(c) その後、3次元顔アライメント用のニューラルネットワークを訓練し、新たに導入されたLS3D-Wでの評価を行いました。(d) 大きな姿勢、初期化、解像度などの「従来」の要因だけでなく、「新しい」要因であるネットワークのサイズが顔アライメント性能に与える影響についても考察しました。(e) 2次元および3次元顔アライメントネットワークが驚異的な精度を達成しており、おそらく使用されたデータセットでの飽和点に近づいていることを示しました。訓練およびテストコードやデータセットは https://www.adrianbulat.com/face-alignment/ からダウンロードできます。