OBoW：用于自监督学习的在线视觉词袋生成

在无监督条件下学习图像表征是当前一个重要且活跃的研究领域。近年来，多种方法已成功利用图像表征在不同扰动下保持不变性的思想，尤其通过基于对比学习的实例判别训练取得了显著成效。尽管有效的视觉表征确实应具备此类不变性，但除此之外，还应具备其他关键特性，例如编码上下文推理能力，而这类能力可能更适合通过基于重建的方法来实现。基于这一认识，我们提出了一种教师-学生架构，通过训练一个卷积神经网络，根据同一图像的扰动版本，重建其词袋（Bag-of-Visual-Words, BoW）表征，从而实现无监督表征学习。该方法在训练过程中同步进行教师网络（负责生成BoW目标）与学生网络（负责学习表征）的在线训练，同时动态更新用于生成BoW目标的视觉词典。这一机制实现了完全在线的、由BoW引导的无监督学习。大量实验表明，我们的BoW驱动策略在多个应用场景中显著优于此前的最先进方法（包括基于对比学习的方法）。例如，在Pascal目标检测、Pascal图像分类以及Places205图像分类等下游任务中，我们的方法全面超越了所有先前的无监督学习方法，达到了新的最先进水平，其性能甚至显著优于采用监督预训练的方案。相关代码已开源，详见：https://github.com/valeoai/obow。