HyperAIHyperAI

Command Palette

Search for a command to run...

CaCo:通过合作-对抗对比学习,正样本与负样本均可直接学习

Xiao Wang Yuhang Huang Dan Zeng Guo-Jun Qi

摘要

作为典型的自监督学习方法,对比学习在无监督表征训练方面取得了显著成功。其通过区分查询锚点(query anchors)对应的正样本与负样本,来训练编码器。正样本与负样本在定义学习目标、引导编码器提取具有判别性的特征方面起着关键作用,有助于避免模型学习到平凡的特征。然而,现有方法通常采用启发式策略选择这些样本。本文提出一种具有理论依据的方法,使得正样本与负样本均可与编码器端到端地联合学习。我们证明,通过最小化和最大化对比损失,正样本与负样本能够以协同与对抗的方式共同优化。由此产生的协同正样本与对抗负样本会随着训练过程动态更新,持续追踪查询锚点在小批量数据中的表征变化。所提方法在ImageNet1K数据集上对ResNet-50主干网络进行200和800轮预训练时,分别取得了71.3%和75.3%的Top-1准确率,且无需依赖多裁剪(multi-crop)或更强的数据增强等技巧。引入多裁剪策略后,性能进一步提升至75.7%。相关源代码与预训练模型已开源,地址为:https://github.com/maple-research-lab/caco


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供