基于自监督学习的内窥镜视频分析

自监督学习（Self-supervised Learning, SSL）通过利用大量未标注数据进行学习，在计算机视觉领域取得了重要突破。这一技术在生物医学领域可能具有关键作用，因为医学数据的标注通常需要高度专业化的知识。然而，目前在许多医疗领域，SSL尚未得到充分探索。其中一个代表性领域是内窥镜检查——一种常用于检测和治疗感染、慢性炎症性疾病及癌症的微创手术技术。在本研究中，我们探讨了前沿的自监督学习框架——掩码孪生网络（Masked Siamese Networks, MSNs）在内窥镜视频分析中的应用，涵盖结肠镜检查与腹腔镜检查等场景。为充分发挥SSL的潜力，我们构建了大规模的未标注内窥镜视频数据集，用于训练MSNs。这些强大的图像表征可作为后续微调的基础，仅需少量标注数据即可实现卓越性能，在多项内窥镜基准任务中达到当前最优水平，例如腹腔镜手术阶段识别与结肠镜息肉分类。此外，我们在不损失性能的前提下，将标注数据量减少了50%。因此，本研究为自监督学习在内窥镜领域显著降低对标注数据依赖性提供了有力证据。