ARCH: 衣服を着た人間のアニメーション可能な再構成

本論文では、ARCH（Animatable Reconstruction of Clothed Humans）と呼ばれる新しいエンドツーエンドのフレームワークを提案します。これは単一のモノキュラー画像からアニメーション対応の3D着衣人物を正確に再構築するためのものです。既存の3D人物デジタル化手法は、ポーズ変動や詳細の回復に対処するのが難しく、またアニメーション対応のモデルを生成することはできません。それに対して、ARCHは学習されたポーズ認識モデルであり、単一の自由なRGB画像から詳細な3Dリギング付き全身アバターを生成します。パラメトリック3Dボディ推定器を使用してセマンティック空間とセマンティック変形フィールドが作成されます。これらにより、2D/3D着衣人物を正規空間に変換し、訓練データにおけるポーズ変動や隠蔽によって生じる幾何学的な曖昧性を軽減できます。詳細な表面幾何学と外観は、空間局所特徴量を使用した暗黙関数表現によって学習されます。さらに、透過度認識可能な微分レンダリングを使用して3D再構築に対するピクセルごとの追加監督を提案しています。実験結果によると、ARCHは再構築された人物の忠実度を向上させています。公開データセットにおいて最新手法と比較して標準指標での再構築誤差が50%以上低くなることを確認しました。また、これまで文献で見られなかった多数の高品質なアニメーション対応再構築アバターについても定性的な例を示しています。