3D顔の生成に畳み込みメッシュオートエンコーダーを使用する

人間の顔の学習された3次元表現は、3次元顔追跡や画像からの再構築などのコンピュータビジョンの問題だけでなく、キャラクター生成やアニメーションなどのグラフィックス応用にも有用です。従来のモデルでは、線形部分空間や高階テンソルの一般化を使用して顔の潜在表現を学習しますが、この線形性により極端な変形や非線形表情を捉えることができません。これを解決するために、メッシュ表面でのスペクトル畳み込みを使用して顔の非線形表現を学習する多用途モデルを提案します。また、複数スケールでの形状と表情の非線形変動を捉える階層的なメッシュ表現を可能にするメッシュサンプリング操作を導入します。変分設定において、当モデルは多次元ガウス分布から多様で現実的な3次元顔をサンプリングします。訓練データには、12人の被験者で捉えられた20,466個の極端な表情を持つメッシュが含まれています。限られた訓練データにもかかわらず、当モデルは50%低い再構築誤差で最先端の顔モデルを上回り、さらに75%少ないパラメータを使用しています。また、既存の最先端顔モデル的表情空間に当オートエンコーダーを取り替えることで、より低い再構築誤差が達成できることも示しました。当データセット、モデルおよびコードは http://github.com/anuragranj/coma で公開されています。