弱教師付き高精細な衣装モデル生成

オンライン経済の発展に伴い、商品の衣類をモデルに着用させた画像を生成するニーズが高まっている。これは新作衣類の展示や販売促進を目的としたものである。しかし、高価な独自モデル画像を用いる状況では、従来の画像仮装（virtual try-on）手法に課題が生じる。なぜなら、多くの既存手法は、衣類画像と対応するモデル画像を大量に用いて訓練を必要としているからである。本論文では、この特定の状況に対応する低コストかつスケーラブルな弱教師あり手法、すなわち「Deep Generative Projection（DGP）」を提案する。本手法の核となるアイデアは、人間が着用効果を予測するプロセスを模倣することにある。これは、教師信号から学習した計算規則ではなく、生活経験に基づく無教師的な想像に基づくものである。本手法では、事前に学習されたStyleGANを用いて着用に関する実際の経験を捉える。実験の結果、衣類と体の粗いアライメントをStyleGAN空間に投影することで、写実的な着用画像を生成できることを示した。実際の独自モデル画像を用いた実験により、DGPが複数の最先端の教師あり手法を上回る性能を発揮することが確認された。