多模态多头卷积注意力机制及其在不同卷积核尺寸下的医学图像超分辨率应用

超分辨率医学影像有助于医生提供更精准的诊断。在许多临床场景中，计算机断层扫描（CT）或磁共振成像（MRI）在一次检查过程中会获取多个扫描模态（扫描序列），这些模态可采用多模态方式联合使用，进一步提升超分辨率重建的质量。为此，我们提出一种新型的多模态多头卷积注意力模块（Multimodal Multi-Head Convolutional Attention, MMHCA），用于实现CT与MRI影像的超分辨率重建。该注意力模块通过卷积操作对多个拼接后的输入张量进行联合空间-通道注意力建模：卷积核（感受野）尺寸控制空间注意力的压缩率，而卷积滤波器数量则控制通道注意力的压缩率。我们引入多个注意力头，每个头具有不同的感受野尺寸，以对应不同的空间注意力压缩率。我们将MMHCA模块集成至两种深度神经网络架构中，用于超分辨率任务，并在三个数据集上进行了实验验证。实验结果表明，所提出的注意力模块在性能上优于当前超分辨率领域最先进的注意力机制。此外，我们还进行了消融实验，系统评估了模块内部各组件的影响，包括输入模态数量和注意力头数量等因素。相关代码已开源，可访问 https://github.com/lilygeorgescu/MHCA 获取。