
近期在自监督学习领域的进展已经在多个视觉任务中展示了令人鼓舞的结果。高性能自监督方法的一个重要组成部分是在嵌入空间中通过数据增强训练模型,使其对同一图像的不同增强视图进行邻近放置。然而,常用的增强管道通常整体处理图像,忽略了图像部分的语义相关性(例如,主体与背景之间的区别),这可能导致学习到虚假的相关性。我们的工作通过研究一类简单但高效的“背景增强”方法来解决这一问题,这些方法通过抑制模型对图像背景的关注,促使模型专注于语义相关的部分内容。通过系统的实验研究,我们证明了背景增强在一系列最先进的自监督方法(如 MoCo-v2、BYOL、SwAV)上,在多种任务中显著提高了性能,例如在 ImageNet 上的性能提升了约 1-2%,达到了与有监督基线相当的水平。此外,我们在有限标签设置下的性能提升更为显著(最高可达 4.2%)。背景增强还提高了模型对多种分布偏移的鲁棒性,包括自然对抗样本、ImageNet-9、对抗攻击和 ImageNet-Renditions。在此过程中,我们还在完全无监督的显著性检测方面取得了进展,生成用于背景增强的显著性掩码。关键词:- 自监督学习- 数据增强- 嵌入空间- 背景增强- 语义相关性- 分布偏移- 显著性检测机构名称及人名:本文未涉及具体机构名称及人名。技术概念:- MoCo-v2:Momentum Contrast version 2 的缩写,是一种自监督学习方法。- BYOL:Bootstrap Your Own Latent 的缩写,也是一种自监督学习方法。- SwAV:Swapped Assignments Validation 的缩写,同样是一种自监督学习方法。- ImageNet:一个大型图像数据库。- ImageNet-Renditions:ImageNet 的变体版本。- 自然对抗样本:指那些在自然界中存在的、能够误导机器学习模型的样本。- 对抗攻击:指故意设计的输入以误导机器学习模型的行为。希望以上翻译符合您的要求。如有任何进一步的问题或需要调整的地方,请随时告知。