多视图超复数学习在乳腺癌筛查中的应用

传统上，用于乳腺癌分类的深度学习方法仅进行单视图分析。然而，放射科医生在进行乳腺X线摄影检查时会同时分析所有四个视图，因为这些视图中包含的相关信息对于识别肿瘤至关重要。鉴于此，一些研究开始提出多视图方法。然而，在现有的架构中，乳腺X线摄影视图被作为独立图像由不同的卷积分支分别处理，从而丧失了它们之间的相关性。为克服这一局限性，本文提出了一种基于参数化超复数神经网络的多视图乳腺癌分类方法论。得益于超复数代数的性质，我们的网络能够建模并利用组成乳腺X线摄影的不同视图之间存在的相关性，从而模拟临床医生的阅片过程。这是因为超复数网络不仅像标准神经模型一样捕捉全局属性，还能捕捉局部关系（即视图间相关性），而实值网络则无法建模这些关系。我们定义了两种架构来处理双视图检查（PHResNets）和四视图检查（PHYSEnet 和 PHYBOnet）。通过使用公开数据集进行的广泛实验评估，我们证明了所提出的模型明显优于实值网络和其他最先进方法，表明乳腺癌分类可以从所提出的多视图架构中受益。此外，我们还通过考虑不同的基准测试以及更精细的任务如分割来评估该方法的泛化能力。为了确保实验的完全可重复性，我们在 https://github.com/ispamm/PHBreast 提供了完整的代码和预训练模型。