15日前
SNARF:非剛性ニューラルインプリシット形状のアニメーションを実現する微分可能なフォワードスキンニング
Xu Chen, Yufeng Zheng, Michael J. Black, Otmar Hilliges, Andreas Geiger

要約
ニューラル陰性表面表現は、連続的かつ解像度に依存しない形で3D形状を捉える有望な枠組みとして登場している。しかし、アーティキュレーテッド(関節構造を持つ)形状への適用は容易ではない。既存の手法は、変形後の点を標準形状(canonical)の点に写像する逆方向のワープ場を学習するが、これはポーズ依存性を持つため、十分なデータ量が必要であり、問題を引き起こす。これを解決するために、本研究ではSNARFを提案する。SNARFは、ポリゴンメッシュにおける線形ブレンドスキンニング(LBS)の利点とニューラル陰性表面表現の利点を統合し、直接的な教師なし条件下で前方変形場(forward deformation field)を学習する。この変形場は、ポーズに依存しない標準空間で定義されるため、未観測のポーズへの一般化が可能となる。一方で、姿勢付きメッシュから変形場を学習することは困難である。なぜなら、変形後の点の対応関係が陰的に定義され、トポロジーの変化下では一意でない可能性があるためである。そこで、反復的な根の探索法を用いて、任意の変形後の点に対し、すべての標準形状における対応点を同定する前方スキンニングモデルを提案する。さらに、陰関数微分を用いて解析的勾配を導出し、骨変換を伴う3Dメッシュからエンドツーエンドでの学習を実現する。最先端のニューラル陰性表現と比較して、本手法は未観測のポーズへより優れた一般化性能を示しつつ、精度を維持する。本手法の有効性を、多様かつ未観測のポーズにおける(衣装を着た)3D人間の困難なシナリオにおいて実証した。