通过知识蒸馏学习的小样本组织病理学数据集的视觉Transformer

计算病理学（Computational Pathology, CPATH）系统具有自动化诊断任务的潜力。然而，数字化组织病理切片（即全切片图像，Whole Slide Images, WSIs）中存在的伪影可能影响CPATH系统整体性能。深度学习（Deep Learning, DL）模型，如视觉Transformer（Vision Transformers, ViTs），可在运行诊断算法前检测并剔除这些伪影。一种提升ViT模型鲁棒性与泛化能力的简便方法是利用大规模数据集进行训练。然而，获取大规模医学数据集成本高昂且操作不便，因此亟需一种适用于WSIs的通用伪影检测方法。本文提出一种“学生-教师”（student-teacher）训练范式，以提升ViT在气泡检测任务中的分类性能。在该框架下，ViT通过从高容量教师模型中蒸馏已有知识，显著增强自身性能。我们所提出的最优ViT模型在F1分数和马修斯相关系数（MCC）上分别达到0.961和0.911，相较于独立训练方法，MCC提升了7%。本方法为知识蒸馏在迁移学习之外的应用提供了新视角，有助于推动定制化Transformer模型在CPATH系统高效预处理流程中的实际应用。