通过对抗训练从模拟图像和无监督图像中学习

随着图形技术的最新进展，使用合成图像训练模型变得更为可行，这可能避免了昂贵的标注需求。然而，由于合成图像与真实图像分布之间存在差距，从合成图像中学习可能无法达到预期的性能。为了缩小这一差距，我们提出了模拟+无监督（Simulated+Unsupervised, S+U）学习方法，其目标是在保留模拟器提供的标注信息的同时，利用未标注的真实数据来提高模拟器输出的逼真度。我们开发了一种用于S+U学习的方法，该方法使用类似于生成对抗网络（Generative Adversarial Networks, GANs）的对抗网络，但输入为合成图像而非随机向量。为了保留标注信息、避免伪影并稳定训练过程，我们在标准GAN算法中进行了几项关键修改：(i) 自正则化项（self-regularization term），(ii) 局部对抗损失（local adversarial loss），以及 (iii) 使用历史改进图像更新判别器。我们展示了这种方法能够生成高度逼真的图像，并通过定性和用户研究进行了验证。我们通过训练用于注视估计和手势估计的模型对生成的图像进行了定量评估。结果显示，与仅使用合成图像相比，我们的方法显著提高了性能，并在无需任何真实数据标注的情况下，在MPIIGaze数据集上达到了最先进的结果。