摘要
我们介绍了Poly-GAN，这是一种新颖的条件生成对抗网络（GAN）架构，其灵感来源于时尚合成应用，该应用可自动将服装放置在任意姿态的人体模型图像上。Poly-GAN允许多个输入条件，并适用于多种任务，包括图像对齐、图像拼接和图像修复。现有的方法通常采用类似的流程，即使用三个不同的网络首先将服装与人体姿态对齐，然后进行对齐后的服装拼接，最后细化结果。而Poly-GAN是首个使用同一架构完成所有三项任务的实例。我们的创新架构在编码器的所有层中强制执行条件，并利用从编码器粗略层到解码器相应层的跳跃连接。Poly-GAN能够根据任意姿态下的人体模型RGB骨架对服装进行空间变换。此外，无论服装的方向如何，Poly-GAN都能进行图像拼接，并且当服装掩模包含不规则孔洞时也能进行修复。我们的系统在DeepFashion数据集上使用结构相似性指数（Structural Similarity Index）和Inception评分（Inception Score）指标取得了最先进的定量结果。