通过自我发现、自我分类和自我恢复学习语义增强表示

医学图像天然蕴含着丰富的人体解剖学语义，这在大量重复出现的解剖模式中得到了体现，为促进深度语义表示学习提供了独特潜力，并能为不同的医学应用生成更具语义能力的模型。然而，如何充分利用嵌入在医学图像中的这种强大而自由的语义进行自监督学习仍是一个未充分探索的问题。为此，我们训练了深度模型，通过自我发现、自我分类和自我恢复医学图像下的解剖结构来学习富含语义的视觉表示，从而得到一个语义丰富的通用预训练3D模型，命名为“Semantic Genesis”（语义起源）。我们在六个不同的目标任务上对“Semantic Genesis”进行了测试，这些任务涵盖了各种医学模态（如CT、MRI和X射线）的分类和分割，并将其与所有公开可用的预训练模型（无论是自监督还是全监督）进行了对比。大量的实验结果表明，“Semantic Genesis”显著超越了所有的3D同类模型以及事实上的基于ImageNet的2D迁移学习。这一性能归功于我们提出的创新自监督学习框架，该框架鼓励深度模型从医学图像中一致嵌入的丰富解剖模式中学习强大的语义表示。代码和预训练的“Semantic Genesis”可在https://github.com/JLiangLab/SemanticGenesis 获取。