2ヶ月前
ARCH++: アニメーション対応の衣服付き人間再構築の再検討
He, Tong ; Xu, Yuanlu ; Saito, Shunsuke ; Soatto, Stefano ; Tung, Tony

要約
私たちはARCH++を提案します。これは画像に基づく手法で、任意の衣装スタイルを持つ3Dアバターを再構築するためのものです。当社が再構築したアバターは、入力ビューから見える領域だけでなく、見えない領域でもアニメーション対応かつ非常に現実的なものとなっています。先行研究では、さまざまなトポロジーを持つ着衣された人間を再構築する有望な方法が示されていますが、我々はその根本的な制限があることに注目しました。これらの制限により、最適な再構築品質が得られない場合があります。本論文では、画像ベースのアバター再構築における主要なステップを見直し、ARCH++によってこれらの制限に対処します。まず、手動で作成された特徴量に代わる、3D人間体の意味論をより正確に表現できるエンドツーエンドのポイントベース幾何エンコーダーを導入します。次に、正規姿勢での着衣人間のトポロジー変化による占有曖昧性に対処するために、クロススペースの一貫性を持つ共監督フレームワークを提案し、ポーズ空間と正規空間の両方での占有状態を同時推定します。最後に、画像対画像翻訳ネットワークを使用して再構築された表面の詳細な幾何形状とテクスチャをさらに洗練し、任意の視点間での忠実度と一貫性を向上させます。実験では、公開ベンチマークとユーザースタディにおいて再構築品質と現実性において最先端技術を超える改善を示しています。