HyperAIHyperAI

Command Palette

Search for a command to run...

基于Wasserstein置信度惩罚的对比原型网络

Zhi-Hong Deng Haoqing Wang

摘要

无监督少样本学习旨在从无标签数据集中学习归纳偏置,以应对新的少样本任务。现有的无监督少样本学习模型以及对比学习模型均遵循统一的范式。因此,我们在该范式下开展实证研究,发现成对对比、元损失函数以及大批次大小是关键的设计因素。基于此,我们提出了CPN(对比原型网络)模型,该模型将原型损失与成对对比相结合,在采用适度较大的批次大小的情况下,性能优于该范式下的现有模型。此外,CPN中使用的一热(one-hot)预测目标可能导致模型学习到样本特异性信息。为解决此问题,我们提出了一种基于伪类别间语义关系的Wasserstein置信度惩罚(Wasserstein Confidence Penalty),能够对过度自信的预测施加适当的惩罚。我们提出的完整模型——CPNWCP(带Wasserstein置信度惩罚的对比原型网络),在无监督设置下于miniImageNet和tieredImageNet数据集上均取得了当前最优的性能表现。相关代码已开源,地址为:https://github.com/Haoqing-Wang/CPNWCP


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供