解缠人物图像生成

生成既新颖又逼真的人物图像是一项具有挑战性的任务，因为前景、背景和姿态等不同图像因素之间存在复杂的相互作用。在本研究中，我们提出了一种基于新型两阶段重建管道的方法，该方法不仅学习了上述图像因素的解耦表示，同时还能生成新颖的人物图像。首先，我们设计了一个多分支重建网络，用于解耦并编码这三个因素为嵌入特征，然后将这些特征重新组合以重构输入图像本身。其次，通过对抗学习的方式分别针对每个因素学习了三个对应的映射函数，以便将高斯噪声映射到所学的嵌入特征空间。利用所提出的框架，我们可以对输入图像的前景、背景和姿态进行操控，并且可以通过采样新的嵌入特征来实现这种目标操控，从而为生成过程提供更多的控制。在Market-1501和Deepfashion数据集上的实验表明，我们的模型不仅能生成具有新前景、背景和姿态的真实人物图像，还可以操控生成的因素并插值中间状态。另一组在Market-1501数据集上的实验还显示，我们的模型对于人物再识别任务也有一定的帮助。