X-Avatar: 表現豊かなヒューマンアバター

私たちはX-Avatarを発表します。これは、デジタルヒューマンの完全な表現力を捉え、テレプレゼンス、AR/VRなどでの現実的な体験を実現する新しいアバターモデルです。当社の手法は、身体、手、表情、外見を包括的にモデリングし、フル3DスキャンまたはRGB-Dデータから学習することができます。これにより、SMPL-Xのパラメータ空間によって駆動される部位認識型学習フォワードスキニングモジュールを提案します。このモジュールはX-Avatarの表現豊かなアニメーションを可能にします。ニューラル形状と変形フィールドの効率的な学習のために、新たな部位認識型サンプリングおよび初期化戦略を提案しています。これにより特に小さな部位で高忠実度の結果が得られつつ、関節骨数の増加にもかかわらず効率的な訓練が維持されます。アバターの高周波詳細まで含む外見を捉えるために、姿勢、表情、形状および変形表面の法線ベクトルに基づいて条件付けられるテクスチャネットワークを形状と変形フィールドに拡張しました。実験的に示した結果では、当社の手法は両データ領域において定量的および定性的に強力な基準モデルを超える性能を発揮しています。表現豊かなアバターに関する今後の研究を促進するために、「X-Humans」という新しいデータセットを提供します。このデータセットには20人の参加者から得られた233つの高品質テクスチャ付きスキャンシーケンスが含まれており、合計35,500フレームのデータが収録されています。