摘要
我们提出了一种基于多视图和多表示（MV-MR）的自监督学习和知识蒸馏新方法。MV-MR 通过最大化增强视图和非增强视图之间可学习嵌入的依赖关系，同时最大化增强视图中的可学习嵌入与非增强视图中的多个不可学习表示之间的依赖关系来实现。我们展示了该方法可以用于高效的自监督分类和模型无关的知识蒸馏。与其他自监督技术不同，我们的方法不使用任何对比学习、聚类或停止梯度。MV-MR 是一个通用框架，允许通过使用图像多表示作为正则化器来对可学习嵌入施加约束。沿着这一思路，知识蒸馏被视为这种正则化的一个特例。在非对比学习和无聚类的方法中，MV-MR 在 STL10 和 ImageNet-1K 数据集上提供了最先进的性能。我们还展示了使用所提出的基于 CLIP ViT 模型的知识蒸馏预训练的复杂度较低的 ResNet50 模型在 STL10 线性评估中达到了最先进的性能。代码可在以下地址获取：https://github.com/vkinakh/mv-mr