CheXWorld: 探索图像世界建模在放射图像表示学习中的应用

人类能够构建内部世界模型，编码常识知识，告知他们世界如何运作，并预测其行为的后果。这一概念在近期的一些初步研究中，如视觉表征学习中，被视为建立通用机器学习模型的有前景的方向。本文介绍了CheXWorld，这是首个致力于放射图像自我监督世界模型的努力。具体而言，我们的工作开发了一个统一框架，同时建模合格放射科医生所需的三个关键方面的医学知识：1) 局部解剖结构描述局部组织的细粒度特征（例如，结构、形状和纹理）；2) 全局解剖布局描述人体的整体组织（例如，器官和骨骼的布局）；3) 领域变化鼓励CheXWorld建模不同放射图像外观域之间的转换（例如，由于从不同医院、设备或患者收集放射图像而引起的清晰度、对比度和曝光度的变化）。实证研究中，我们设计了定制的定性和定量分析方法，揭示了CheXWorld成功捕捉到了这三个维度的医学知识。此外，在八个医学图像分类和分割基准上的迁移学习实验表明，CheXWorld显著优于现有的自监督学习（SSL）方法和大规模医疗基础模型。代码及预训练模型可在https://github.com/LeapLabTHU/CheXWorld获取。 原文中的“self-supervised”通常翻译为“自我监督”或“自监督”，在中文科技文献中通常使用后者。文中提到的“CheXWorld”是专有名词，在中文翻译后保留其英文形式以确保信息的一致性和准确性。