17日前
ImFace:Implicit Neural Representationsを用いた非線形3D可変顔モデル
Mingwu Zheng, Hongyu Yang, Di Huang, Liming Chen

要約
3次元顔の正確な表現は、さまざまなコンピュータビジョンおよびグラフィックス応用において有益である。しかし、データの離散化およびモデルの線形性のため、現在の研究では正確なアイデンティティおよび表情の特徴を捉えることは依然として困難である。本論文では、非線形かつ連続的な空間を学習可能な新しい3次元モーファブル顔モデル、ImFaceを提案する。ImFaceは、アイデンティティと表情それぞれに関連する複雑な形状をモデル化するため、明示的に分離された2つの変形場を構築し、表情の埋め込みを拡張してより多様な変化を可能にするための改善された学習戦略を設計している。さらに、局所的な変形場の系列を適応的に合成することで、洗練された細部を学習するためのNeural Blend-Fieldを導入する。ImFaceに加え、暗黙表現における「水密性(watertight)な入力」要件という課題に対処するための効果的な前処理パイプラインも提案しており、これにより従来の一般的な顔面形状と暗黙表現を初めて連携可能にした。広範な実験により、ImFaceの優位性が実証されている。