摘要
尽管数据增强已成为提升深度神经网络性能的通用技术，但针对生成对抗网络（GAN）的增强策略研究仍相对不足。为此，本文提出一种专为基于GAN的语义图像合成模型设计的新型增强方案。该方法通过随机扭曲生成器输入的语义标签图（semantic label maps）中的物体形状，引入标签图与图像之间局部形状的差异性。这种差异使GAN能够更好地学习场景的结构与几何细节，从而显著提升生成图像的质量。在对增强后的GAN模型与原始模型进行基准测试时，我们发现以往语义图像合成研究中所采用的量化指标存在明显偏差：这些指标依赖于外部预训练的分割网络进行计算，因而对特定语义类别具有较强倾向性。为此，我们提出改进现有的语义图像合成评估范式，即分别分析生成图像在该分割网络存在偏差的类别与无偏差类别上的表现，以更全面、公正地评估模型性能。最终，我们在三个不同数据集（COCO-Stuff、ADE20K和Cityscapes）上，基于当前最先进的语义图像合成模型，验证了所提增强方案的显著有效性。无论是定量指标还是定性结果，该方法均在两类类别划分下展现出显著提升。在三个数据集上的平均表现中，增强模型相比原始模型在mIoU指标上提升约3个百分点，在FID指标上提升约10点。