要約
バーチャルトライオン（仮想試着）は、生成対抗ネットワーク（GAN）の有望な応用の一つである。しかし、人体のサイズやポーズの違い、髪や重なり着衣による遮蔽（オクルージョン）といった要因により、希望する衣類を人体の対応する部位に正確に移すことは極めて困難である。本論文では、セマンティックセグメンテーションと生成対抗アーキテクチャを基盤とする画像翻訳ネットワークを用いて、写真級のリアルな画像を生成することを目的とする。我々は、RGB画像を入力として、対象の身体部位をセグメンテーションし、その領域にターゲット衣類を重ね合わせる新しい画像ベースのバーチャルトライオンシステム「VTON-IT」を提案する。現在の最先端のGANベースのバーチャルトライオン手法は、実際の画像に対してピクセル化され、アライメントが不十分な合成画像を生成する傾向にあるが、本手法は、多様な形状や状況を考慮した画像に対しても、高解像度かつ詳細なテクスチャを備えた自然な画像を生成することができる。