要約
本稿では、ファッション合成（Fashion Synthesis）という応用を動機として、任意のポーズを持つ人物モデル画像上に衣装を自動的に配置するタスクを想定した、新しい条件付きGANアーキテクチャ「Poly-GAN」を提案する。Poly-GANは複数の入力を条件として用いることができ、画像のアライメント、画像のステッチング、およびインペイント（穴埋め）など、多様なタスクに適応可能である。従来の手法は、衣装と人体ポーズのアライメント、アライメント後の衣装のステッチング、そして結果の精緻化という3段階のパイプラインを採用しており、それぞれ異なるネットワークを用いている。一方、Poly-GANは、この3つのタスクを同一のアーキテクチャで実行する初めての試みである。本研究で提案する新規アーキテクチャは、エンコーダのすべての層において条件を強制的に適用し、エンコーダの粗い層からデコーダの対応する層へスカイプ接続（skip connection）を導入することで、空間的構造の保持と高精度な再構成を実現している。Poly-GANは、任意のポーズにおけるモデルのRGBスケルトンに基づいて、衣装に対する空間変換を実行可能である。さらに、衣装の方向に依存せずに画像ステッチングを実行でき、不規則な穴を含む衣装マスクに対してインペイント処理も可能である。DeepFashionデータセットを用いた評価において、本システムは構造的類似度指標（SSIM）およびインセプションスコア（Inception Score）の両面で、現在の最先端（SOTA）の定量的性能を達成した。