多通道注意力选择GAN与级联语义引导在跨视图图像翻译中的应用

跨视角图像翻译具有挑战性，因为它涉及视角差异显著且变形严重的图像。在本文中，我们提出了一种名为多通道注意力选择生成对抗网络（Multi-Channel Attention SelectionGAN，简称SelectionGAN）的新方法，该方法能够在给定场景图像和新颖的语义图的基础上生成任意视角下的自然场景图像。所提出的SelectionGAN显式利用了语义信息，并分为两个阶段。在第一阶段，条件图像和目标语义图被输入到一个循环语义引导生成网络中以生成初始粗略结果。在第二阶段，我们通过使用多通道注意力选择机制来细化这些初始结果。此外，从注意力自动学习得到的不确定性图用于指导像素损失，从而实现更好的网络优化。我们在Dayton、CVUSA和Ego2Top数据集上进行了广泛的实验，结果显示我们的模型能够显著优于现有最先进方法。源代码、数据和训练好的模型可在https://github.com/Ha0Tang/SelectionGAN 获取。