摘要
传统的零样本学习（ZSL）方法通常学习一种嵌入，例如视觉-语义映射，以间接方式处理未见过的视觉样本。在本文中，我们利用生成对抗网络（GANs），提出了一种新颖的方法，称为基于不变侧生成的生成对抗网络（Leveraging Invariant Side GAN, LisGAN），该方法可以直接从随机噪声中生成未见过的特征，这些噪声由语义描述进行条件约束。具体而言，我们在条件瓦瑟斯坦生成对抗网络（Conditional Wasserstein GANs）中进行训练，其中生成器从噪声中合成假的未见过特征，而判别器通过最小最大博弈来区分真假特征。考虑到一个语义描述可以对应多种合成的视觉样本，并且形象地说，语义描述是生成特征的灵魂，我们在本文中引入了灵魂样本作为生成零样本学习中的不变侧。灵魂样本是一个类别的元表示形式，它可视化了同一类别中每个样本最具语义意义的方面。我们规定每个生成的样本（生成零样本学习的变化侧）应至少接近一个与其具有相同类别标签的灵魂样本（不变侧）。在零样本识别阶段，我们建议使用两个级联部署的分类器来实现从粗到细的结果。在五个流行的基准数据集上的实验验证了我们提出的方法能够显著优于现有最先进方法。