2 个月前

基于视觉-语言模型的零样本分类标签传播

Stojnić, Vladan ; Kalantidis, Yannis ; Tolias, Giorgos
基于视觉-语言模型的零样本分类标签传播
摘要

视觉-语言模型(VLMs)在零样本分类任务中展现了令人印象深刻的表现,即仅提供类别名称列表时的分类能力。本文研究了在存在未标记数据的情况下进行零样本分类的问题。我们利用未标记数据的图结构,引入了一种基于标签传播(LP)的方法——ZLaP,该方法利用测地距离进行分类。我们将标签传播技术应用于同时包含文本和图像特征的图,并进一步提出了一种基于对偶解和稀疏化步骤的有效归纳推理方法。我们进行了广泛的实验,评估了该方法在14个常用数据集上的有效性,并展示了ZLaP优于最新的相关工作。代码:https://github.com/vladan-stojnic/ZLaP

基于视觉-语言模型的零样本分类标签传播 | 最新论文 | HyperAI超神经