HyperAIHyperAI

Command Palette

Search for a command to run...

EVA-CLIP:改进的大规模CLIP训练技术

Quan Sun¹ Yuxin Fang¹,² Ledell Wu¹ Xinlong Wang¹ Yue Cao¹

摘要

对比语言-图像预训练(Contrastive Language-Image Pre-training,简称CLIP)因其在多种场景中的潜力而受到越来越多的关注。本文提出了一种名为EVA-CLIP的模型系列,显著提高了CLIP训练的效率和效果。我们的方法引入了新的表示学习、优化和增强技术,使得EVA-CLIP在参数数量相同的情况下,相比之前的CLIP模型实现了更优的性能,同时大幅降低了训练成本。特别值得一提的是,我们最大的50亿参数模型EVA-02-CLIP-E/14+仅通过90亿样本就达到了ImageNet-1K验证集上的82.0%零样本顶级准确率。较小的EVA-02-CLIP-L/14+模型拥有4.3亿参数和60亿样本,也在ImageNet-1K验证集上达到了80.4%的零样本顶级准确率。为了促进开放访问和开放研究,我们将完整的EVA-CLIP套件发布到社区,地址为https://github.com/baaivision/EVA/tree/master/EVA-CLIP


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供