HyperAIHyperAI

Command Palette

Search for a command to run...

CAILA:面向组合零样本学习的概念感知层内适配器

Zhaoheng Zheng Haidong Zhu Ram Nevatia

摘要

本文研究了组合零样本学习(Compositional Zero-Shot Learning, CZSL)问题,即在已知概念的基础上识别全新的属性-对象组合。近年来,研究者们普遍采用具备强大泛化能力的大规模视觉-语言预训练(Vision-Language Pre-trained, VLP)模型(如CLIP)来解决该问题。然而,现有方法通常将预训练模型视为黑箱,仅关注CLIP模型前后的操作,未能深入挖掘CLIP内部各层之间的语义概念关联。为此,本文提出深入CLIP模型架构,在每一层编码器中引入适配器(adapters)——一种在大型语言模型中已被证明高效的参数高效微调技术。进一步地,我们为适配器赋予概念感知能力,使其能够有效提取“对象”“属性”以及“组合”三类特定概念的特征表示。我们在四个主流CZSL数据集(MIT-States、C-GQA、UT-Zappos和VAW-CZSL)上对所提方法进行了评估,结果表明,该方法在所有数据集上均达到了当前最优的性能水平,显著优于现有方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供