
摘要
当标记训练数据稀缺时,一种有前景的数据增强方法是利用未知类别的属性生成其视觉特征。为了学习卷积神经网络(CNN)特征的类别条件分布,这些模型依赖于图像特征和类别属性的配对。因此,它们无法利用大量未标记的数据样本。在本文中,我们提出了一种统一的特征生成框架来解决任意样本学习问题,即零样本和少样本学习,并且该框架既适用于归纳学习也适用于转换学习设置。我们开发了一种条件生成模型,结合了变分自编码器(VAE)和生成对抗网络(GANs)的优势,并通过一个无条件判别器学习未标记图像的边缘特征分布。实验结果表明,我们的模型为五个数据集(CUB、SUN、AWA 和 ImageNet)生成了高度区分性的 CNN 特征,并在任意样本学习中建立了新的最先进水平,即在归纳和转换(广义)零样本和少样本学习设置中。此外,我们还展示了所学特征的可解释性:通过将其逆变换回像素空间进行可视化,并通过生成文本论据来解释为何这些特征与特定标签相关联。