模型创世纪：用于3D医学图像分析的通用自学习模型

从自然图像到医学图像的迁移学习已成为医学图像分析中最为实用的范式之一。然而，为了适应这一范式，最突出的成像模态（如CT和MRI）中的3D成像任务不得不被重新表述并以2D形式解决，这导致了丰富的3D解剖信息丢失，并不可避免地影响了性能。为克服这一局限性，我们构建了一组模型，称为通用自学习模型（Generic Autodidactic Models），昵称为“模型创世纪”（Models Genesis），因为这些模型是从无到有创建的（无需人工标注）、自我训练的（通过自监督学习）且具有通用性（作为生成特定应用目标模型的源模型）。我们的大量实验表明，在涵盖分割和分类的五个目标3D应用中，“模型创世纪”显著优于从零开始的学习。更重要的是，仅在3D中从零开始学习并不一定能比从ImageNet进行2D迁移学习获得更好的性能，但我们的“模型创世纪”始终超越任何2D方法，包括对从ImageNet预训练的模型进行微调以及对我们“模型创世纪”的2D版本进行微调。这证明了3D解剖信息的重要性以及“模型创世纪”在3D医学成像中的重要性。这种性能归功于我们建立的一个统一的自监督学习框架，该框架基于一个简单而强大的观察结果：医学图像中复杂但重复出现的解剖结构可以作为深度模型自动通过自监督学习获取常见解剖表示的强大监督信号。作为开放科学的一部分，所有预训练的“模型创世纪”均可在https://github.com/MrGiovanni/ModelsGenesis 获取。