17 天前
跨领域小样本学习的更广泛研究
Yunhui Guo, Noel C. Codella, Leonid Karlinsky, James V. Codella, John R. Smith, Kate Saenko, Tajana Rosing, Rogerio Feris

摘要
近年来,少样本学习(few-shot learning)的进展在很大程度上依赖于用于元学习(meta-learning)的标注数据,即基类(base classes)从与新类(novel classes)相同的数据域中采样。然而,在许多实际应用场景中,获取用于元学习的数据既不现实也不可行。这引出了跨域少样本学习(cross-domain few-shot learning)问题,其核心特征是基类与新类之间存在显著的数据域差异。尽管已有研究探讨了跨域少样本学习场景,但这些工作主要局限于自然图像,其内部仍保持较高的视觉相似性。目前尚无研究系统考察真实世界中不同成像方式之间的少样本学习问题,例如航空影像与医学影像之间的跨模态学习。本文提出一个名为“跨域少样本学习的广义研究基准”(Broader Study of Cross-Domain Few-Shot Learning, BSCD-FSL)的新基准,涵盖来自多种成像方式的图像数据,具有高度多样性。该基准不仅包含自然图像(如农作物病害图像),还包含与自然图像视觉差异逐渐增大的图像类型,如卫星图像、皮肤科图像和放射科图像。我们在该基准上开展了大量实验,系统评估了当前最先进的元学习方法、迁移学习方法以及新兴的跨域少样本学习方法。实验结果表明,当前最先进的元学习方法在该基准上表现意外地逊于早期的元学习方法,且所有元学习方法的平均准确率均比简单的微调(fine-tuning)方法低12.8%。此前在特定跨域场景中观察到的性能优势,在这一更具挑战性的基准中完全消失。此外,所有方法的性能均与数据集与自然图像的相似程度呈现显著正相关,这验证了该基准在更真实地反映实际应用中数据多样性的价值,并为未来研究提供了重要指导方向。