Vid2Avatar: 自監督シーン分解を用いた野生環境動画からの3Dアバター再構成

我々はVid2Avatarという手法を提案します。この手法は、単眼の野生環境動画から人間のアバターを学習するためのものです。単眼の野生環境動画から自然に動く人間を再構成することは困難です。この問題を解決するには、人間を任意の背景から正確に分離することが必要です。さらに、短い動画シーケンスから詳細な3D表面を再構成する必要があり、これがより一層難易度を高めます。これらの課題にもかかわらず、当手法では、衣服を着た人間スキャンの大規模データセットから抽出された真値監督や事前知識、外部セグメンテーションモジュールに依存することはありません。代わりに、シーン内の人物と背景を同時にモデル化し、それぞれが別々のニューラルフィールドによってパラメータ化される形で、シーン分解と表面再構成のタスクを直接3Dで解きます。具体的には、正準空間における時間的に一貫した人間表現を定義し、背景モデル、正準の人間形状とテクスチャ、フレームごとの人間ポーズパラメータについて全体的な最適化を行います。また、ボリュームレンダリング用の粗密サンプリング戦略と新しい目的関数が導入され、動的要素である人物と静的要素である背景の明確な分離が可能となりました。これにより詳細かつ堅牢な3D人間ジオメトリの再構成が実現しています。当手法は公開されているデータセット上で評価され、従来技術に対する改善点が示されています。