摘要
视网膜图像匹配在监测疾病进展和治疗反应中发挥着关键作用。然而，包含时间间隔图像对之间匹配关键点的数据集并不丰富，这限制了基于变压器模型的训练。我们提出了一种基于反向知识蒸馏的新方法，旨在利用有限数据训练大型模型的同时防止过拟合。首先，我们对一种称为SuperRetina的基于卷积神经网络（CNN）的半监督方法进行了架构上的改进，从而提高了其在公开数据集上的表现。然后，我们使用较轻量的CNN模型来训练一个计算复杂度更高的基于视觉变压器编码器的模型，这一做法在知识蒸馏研究领域中是反常规的，通常的做法是基于较重的模型来训练较轻的模型。令人惊讶的是，这种反向知识蒸馏进一步提升了泛化能力。我们的实验表明，在表示空间中的高维拟合可能比直接匹配最终输出更能防止过拟合。此外，我们还提供了一个带有注释的公开数据集，用于视网膜图像关键点检测和匹配，以帮助研究社区开发适用于视网膜图像应用的算法。