多ポーズガイド仮想試着ネットワークへ

任意の人体姿勢におけるバーチャル試着システムには大きな応用可能性がありますが、多くの課題を提起しています。例えば、自己遮蔽、多様な姿勢間での重いずれ、および衣服のテクスチャの多様性などです。既存の方法は新しい衣服を人物に合わせることを目指していますが、固定された人体姿勢でのみ衣服を転送でき、依然として不満足な性能を示しており、しばしばアイデンティティの保存に失敗し、テクスチャの詳細を失い、姿勢の多様性が低下します。本論文では、多姿勢ガイド付きバーチャル試着システムへの最初の取り組みを行います。これにより、多様な姿勢を持つ人物画像上で衣服を転送することが可能になります。入力人物画像、望ましい衣服画像、および望ましい姿勢が与えられた場合、提案するマルチポーズガイド付きバーチャル試着ネットワーク（MG-VTON）は、望ましい衣服を入力画像に合わせて配置し、人体姿勢を操作した新しい人物画像を生成することができます。MG-VTONは3つの段階で構築されています：1) 目標画像に対して望ましい人体パーシングマップが合成され、望ましい姿勢と望ましい衣服形状の両方に適合します；2) 深層ワープ生成対抗ネットワーク（Warp-GAN）が望ましい衣服の外観を合成された人体パーシングマップに変形させることで、入力人体姿勢と望ましい人体姿勢間のずれ問題を緩和します；3) マルチポーズ構成マスクを利用した精製レンダリングが衣服のテクスチャ詳細を回復し、一部のアーティファクトを取り除きます。有名なデータセットや新たに収集した最大規模のバーチャル試着ベンチマークにおける広範な実験結果から、MG-VTONは質的および量的にすべての最先端手法よりも大幅に優れた性能を示しており、有望な多姿勢バーチャル試着性能を持つことが確認されました。