地理感知的自监督学习

对比学习方法在计算机视觉任务中显著缩小了监督学习与无监督学习之间的性能差距。本文探讨了该方法在地理定位数据集（如遥感数据）中的应用，此类数据通常具有大量未标注样本，但标注数据稀缺。我们首先表明，由于任务特性的差异，对比学习与监督学习在标准基准上仍存在显著差距。为弥合这一差距，我们提出了一种新颖的训练方法，充分利用遥感数据的时空结构特性。具体而言，我们通过时间上对齐的时空图像构建对比学习中的时间正样本对，并利用地理定位信息设计预训练任务。实验结果表明，所提出的方法在遥感图像分类、目标检测和语义分割任务上显著缩小了对比学习与监督学习之间的性能差距。此外，我们还验证了该方法可推广至带有地理标签的ImageNet图像数据，在多种下游任务中均取得了性能提升。项目主页详见：geography-aware-ssl.github.io。