16 天前

基于原型对比学习的CLIP微调方法用于目标重识别

Jiachen Li, Xiaojin Gong
基于原型对比学习的CLIP微调方法用于目标重识别
摘要

本研究旨在将大规模预训练的视觉-语言模型(如对比语言-图像预训练模型CLIP)适配于各类监督设置下的目标重识别(Re-ID)任务,以提升其性能。尽管最近提出的CLIP-ReID方法通过提示学习(prompt learning)取得了令人瞩目的成果,但由于Re-ID任务中缺乏语义标签,提示学习的内在机制及其必要性仍不明确。本文首先系统分析了提示学习在CLIP-ReID中的作用,并揭示了其存在的局限性。基于上述研究发现,我们提出了一种简单而高效的方法,用于将CLIP适配至有监督的目标Re-ID任务。该方法直接通过原型对比学习(Prototypical Contrastive Learning, PCL)损失对CLIP的图像编码器进行微调,从而无需依赖提示学习。在行人与车辆Re-ID数据集上的实验结果表明,所提方法在性能上可与CLIP-ReID相媲美。此外,我们将基于PCL的CLIP微调策略进一步拓展至无监督场景,并在该设定下实现了当前最优的性能表现。

基于原型对比学习的CLIP微调方法用于目标重识别 | 最新论文 | HyperAI超神经