要約
3D被服人間再構成において大きな進歩が見られましたが、現存する方法の多くは、多様な人間の姿勢や外観を含む野生環境画像から堅牢な結果を得ることに失敗しています。これは主に、訓練データセットと野生環境データセットの間に存在する大きなドメインギャップによるものです。訓練データセットは通常、GT 3Dスキャンからのレンダリング画像を含む合成データセットです。しかし、このようなデータセットは、実際の野生環境データセットに比べて単純な人間の姿勢と自然さに欠ける画像外観しか含んでいないため、野生環境画像への汎化が極めて困難となっています。この問題を解決するために、本研究ではClothWildという3D被服人間再構成フレームワークを提案します。これは初めて野生環境画像における堅牢性に焦点を当てたものです。まず、ドメインギャップに対する堅牢性のために、野生環境データセットの2D監督目標で学習可能な弱教師ありパイプラインを提案します。次に、弱監督の曖昧性を減らすためにDensePoseベースの損失関数を設計します。いくつかの公開された野生環境データセットでの広範な経験的テストにより、提案したClothWildが最先端の手法よりも遥かに正確で堅牢な結果を生み出すことが示されました。コードは以下のURLで利用可能です：https://github.com/hygenie1228/ClothWild_RELEASE.