摘要
在广义零样本学习（generalized zero-shot learning）的众多方法中，大多依赖于图像特征空间与类别嵌入空间之间的跨模态映射。由于标注图像成本高昂，一种可行方向是通过生成图像或图像特征来扩充数据集。然而，前者往往难以保留细粒度细节，而后者则需要学习与类别嵌入相关联的映射关系。在本研究中，我们进一步推进特征生成技术，提出一种新模型：通过模态特定的对齐变分自编码器（modality-specific aligned variational autoencoders），学习图像特征与类别嵌入共享的潜在空间。该方法使得潜在特征中保留了图像与类别所需的判别性信息，进而在此基础上训练一个Softmax分类器。本方法的核心在于，我们通过对齐从图像数据和辅助信息中学习到的分布，构建出蕴含未见类别关键多模态信息的潜在特征。我们在多个基准数据集（包括CUB、SUN、AWA1和AWA2）上评估了所学习的潜在特征，不仅在广义零样本学习任务上达到了新的最优性能，同时在少样本学习（few-shot learning）任务中也取得了显著提升。此外，在ImageNet上采用多种零样本划分策略的实验结果表明，我们的潜在特征在大规模场景下具有良好的泛化能力。