17 天前

IPCL:基于迭代伪监督对比学习的自监督特征表示优化方法

{Arijit Sur, Sonal Kumar; Anirudh Phukan}
摘要

基于对比批次(contrastive batch)的自监督学习已成为计算机视觉领域表征学习的强大工具。下游任务的性能与自监督预训练过程中所学习到的视觉特征质量呈正相关。现有的对比批次方法在很大程度上依赖数据增强技术,以从无标签数据集中挖掘潜在信息。本文认为,在对比批次方法中引入数据集内部的类内差异,可进一步提升视觉表征的质量。为此,本文提出一种新型自监督学习方法——迭代伪监督对比学习(Iterative Pseudo-supervised Contrastive Learning, IPCL),该方法通过平衡结合图像增强与伪类别信息,实现视觉表征的迭代优化。实验结果表明,所提出的方法显著优于采用批次对比策略的基线自监督方法,在多个数据集上均提升了视觉表征质量,从而在下游无监督图像分类任务中取得了更优的性能表现。