OrdinalCLIP：学习用于语言引导序数回归的排名提示

本文提出了一种基于语言的序数回归范式。现有的方法通常将每个等级视为一个类别，并使用一组权重来学习这些概念。然而，这些方法容易过拟合，且由于所学概念主要来源于训练集，通常性能不佳。近期，像CLIP这样的大型预训练视觉-语言模型在各种视觉任务中表现出色。在本文中，我们提出从CLIP丰富的语义潜在空间中学习等级概念。具体而言，我们将此任务重新表述为具有对比目标的图像-语言匹配问题，即将标签视为文本，并通过文本编码器为每个等级获得一个语言原型。尽管CLIP的提示工程非常耗时，我们提出了OrdinalCLIP，一种可微分的提示方法，用于将CLIP适应于序数回归任务。OrdinalCLIP包括可学习的上下文标记和可学习的等级嵌入；通过显式建模数值连续性来构建可学习的等级嵌入，从而在CLIP空间中生成有序且紧凑的语言原型。一旦学习完成，我们可以仅保存语言原型并丢弃庞大的语言模型，这与线性头相比不会增加任何额外的计算开销。实验结果表明，我们的范式在一般的序数回归任务中取得了有竞争力的性能，并在年龄估计的小样本和分布偏移设置下获得了改进。代码可在https://github.com/xk-huang/OrdinalCLIP 获取。