HyperAIHyperAI

Command Palette

Search for a command to run...

通过对齐变分自编码器实现的广义零样本与少样本学习

Zeynep Akata Trevor Darrell Samarth Sinha Sayna Ebrahimi Edgar Schonfeld

摘要

在广义零样本学习(generalized zero-shot learning)的众多方法中,大多依赖于图像特征空间与类别嵌入空间之间的跨模态映射。由于标注图像成本高昂,一种可行方向是通过生成图像或图像特征来扩充数据集。然而,前者往往难以保留细粒度细节,而后者则需要学习与类别嵌入相关联的映射关系。在本研究中,我们进一步推进特征生成技术,提出一种新模型:通过模态特定的对齐变分自编码器(modality-specific aligned variational autoencoders),学习图像特征与类别嵌入共享的潜在空间。该方法使得潜在特征中保留了图像与类别所需的判别性信息,进而在此基础上训练一个Softmax分类器。本方法的核心在于,我们通过对齐从图像数据和辅助信息中学习到的分布,构建出蕴含未见类别关键多模态信息的潜在特征。我们在多个基准数据集(包括CUB、SUN、AWA1和AWA2)上评估了所学习的潜在特征,不仅在广义零样本学习任务上达到了新的最优性能,同时在少样本学习(few-shot learning)任务中也取得了显著提升。此外,在ImageNet上采用多种零样本划分策略的实验结果表明,我们的潜在特征在大规模场景下具有良好的泛化能力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过对齐变分自编码器实现的广义零样本与少样本学习 | 论文 | HyperAI超神经