SCANimate：スキン付き衣装モデルネットワークの弱教師付き学習

本稿では、服を着た人の3Dスキャンを入力として、アニメーション可能なアバターに変換するエンドツーエンドで学習可能なフレームワーク「SCANimate」を提案する。このアバターはポーズパラメータによって駆動され、自然に動き・変形する現実的な衣装を備えている。SCANimateは、カスタムメッシュテンプレートや表面メッシュの登録に依存しない。我々の観察によれば、SMPLのようなパラメトリック3Dボディモデルを服を着た人のスキャンにフィットさせることは可能であるが、ボディのトポロジーをスキャンに表面的に登録することはしばしば困難である。その理由は、衣装が体の形状から大きく逸脱するためである。また、アーティキュレーテッド変形（関節変形）は可逆であることを確認しており、これによりポーズ付きおよびポーズなしの形状間で幾何学的サイクル整合性が得られる。これらの観察に基づき、テンプレートに基づく表面登録を用いずに、アーティキュレーテッド変形を分離することで、スキャンを標準ポーズに整合させる弱教師付き学習法を構築した。さらに、整合されたスキャンにおける欠損領域を補完しつつ、ポーズ依存の変形をモデル化するため、局所的なポーズに意識的なimplicit関数を導入した。この関数は、学習されたポーズ補正項を用いて幾何形状を補完・モデル化する。従来のグローバルポーズ埋め込みと比較して、本手法の局所的ポーズ条件付けは、長距離の誤った相関を著しく低減し、特に訓練データが限られた場合においても、未観測のポーズへの一般化性能を向上させる。本手法は、ポーズに応じた外観モデリングにも応用可能であり、完全にテクスチャリングされたアバターの生成が可能である。さまざまな衣装タイプと異なる量の訓練データを用いた実験において、既存の手法および他のバリエーションと比較して、忠実性および汎化性の観点ですべての設定において優れた性能を示した。コードは https://scanimate.is.tue.mpg.de にて公開されている。