1ヶ月前

弱教師あり学習による正確な3D顔再構成:単一画像から画像集合まで

Yu Deng; Jiaolong Yang; Sicheng Xu; Dong Chen; Yunde Jia; Xin Tong
弱教師あり学習による正確な3D顔再構成:単一画像から画像集合まで
要約

最近、深層学習を基にした3次元顔再構成手法は、品質と効率性の両面で有望な結果を示しています。しかし、深層ニューラルネットワークの訓練には通常大量のデータが必要であり、一方で真値3次元顔形状を持つ顔画像は少ないのが現状です。本論文では、1) 低レベル情報と知覚レベル情報を監視に用いる堅牢なハイブリッド損失関数を活用した弱教師あり学習のための新しい深層3次元顔再構成アプローチと、2) 異なる画像から補完的な情報を抽出して形状集約を行う多画像顔再構成手法を提案します。当方法は高速かつ正確で、遮蔽や大角度ポーズにも堅牢です。3つのデータセットにおいて包括的な実験を行い、15の最新手法との系統的な比較を通じて当方法の最先端性能を示しています。