基于对齐变分自编码器的广义零样本和少样本学习

在广义零样本学习中，许多方法依赖于图像特征空间和类别嵌入空间之间的跨模态映射。由于标注图像的成本较高，一种方向是通过生成图像或图像特征来扩充数据集。然而，前者会丢失细粒度的细节，而后者则需要学习与类别嵌入相关的映射。在这项工作中，我们将特征生成进一步推进，并提出了一种模型，该模型通过特定模态对齐的变分自编码器（Variational Autoencoders, VAE）来学习图像特征和类别嵌入的共享潜在空间。这使得我们在潜在特征中保留了关于图像和类别的必要判别信息，并在此基础上训练一个softmax分类器。我们方法的关键在于将从图像和辅助信息中学到的分布对齐，以构建包含未见类别所需多模态信息的潜在特征。我们在多个基准数据集上评估了所学的潜在特征，包括CUB、SUN、AWA1和AWA2，并在广义零样本学习以及少样本学习方面建立了新的最先进水平。此外，我们在ImageNet上的各种零样本划分实验结果表明，我们的潜在特征在大规模设置下也具有良好的泛化能力。