ICON: 普通人から得られる潜在的な着衣人物

現在のリアリスティックでアニメーション可能な3D衣装アバターの学習方法は、ポーズが取られた3Dスキャンまたはユーザーのポーズが慎重に制御された2D画像を必要とします。これに対し、我々の目標は、自由なポーズの人々の2D画像のみからアバターを学習することです。与えられた一連の画像に対して、当手法は各画像から詳細な3D表面を推定し、それらを組み合わせてアニメーション可能なアバターを作成します。暗黙関数は最初のタスクに適しており、髪や衣服などの細部を捉えることができます。しかし、現行の手法は多様な人間のポーズに対して堅牢ではなく、しばしば切断されたり体から離れた四肢、欠落した細部、または非人間的な形状を持つ3D表面を生成することがあります。これらの問題は、グローバルなポーズに敏感なグローバル特徴エンコーダーを使用しているためです。これを解決するために、我々はICON（"Implicit Clothed humans Obtained from Normals"）を提案します。ICONは代わりに局所特徴を使用します。ICONには2つの主要モジュールがあり、どちらもSMPL(-X)ボディモデルを利用しています。まず、ICONはSMPL(-X)ノーマルに基づいて詳細な衣装付き人間の法線（前面/背面）を推論します。次に、可視性認識型の暗黙表面回帰器が人間占有フィールドのイソサーフェースを生成します。重要なのは、推論時にはフィードバックループが存在し、推論された衣装付き法線を使用してSMPL(-X)メッシュを精緻化し、その後法線を精緻化するというプロセスが交互に行われることです。複数の異なるポーズでの被験者の再構築フレームが与えられた場合、SCANimateを使用してそれらからアニメーション可能なアバターを作成します。AGORAおよびCAPEデータセットにおける評価では、ICONが訓練データが極端に限定されている即使しても再構築性能において最先端技術を超えることが示されました。さらに、野生環境でのポーズ/画像やフレーム外切り抜きなどに対する異常値サンプルへの堅牢性も大幅に向上しています。ICONは野生環境からの画像を使用した堅牢な3D衣装付き人間再構築に向けて一歩前進しました。これにより直接ビデオからパーソナライズされ自然な姿勢依存的な衣装変形を持つアバターを作成することが可能になります。