高速、正確かつ安定した3D顔の高密度アライメントに向けて

既存の3次元顔の高密度アライメント手法は主に精度に焦点を当てているため、実用的な応用範囲が制限されています。本論文では、速度、精度、安定性のバランスを取りながら、新しい回帰フレームワークである3DDFA-V2を提案します。まず、軽量なバックボーンを基盤として、メタジョイント最適化戦略を提案し、3DMMパラメータの小さな集合を動的に回帰することで、速度と精度を大幅に向上させます。さらにビデオでの安定性を向上させるために、平面内および平面外の顔の動きを含む短いビデオに静止画を変換する仮想合成方法を提示します。高精度と安定性を前提として、3DDFA-V2は単一のCPUコアで50fps以上で動作し、他の最先端の重いモデルよりも優れた性能を発揮します。いくつかの困難なデータセットにおける実験結果により、当手法の効果が検証されています。事前学習済みモデルとコードはhttps://github.com/cleardusk/3DDFA_V2 から入手可能です。