HyperDense-Net：一种超密集连接的CNN用于多模态图像分割

近期，密集连接在计算机视觉领域受到了广泛关注，因为它们有助于训练过程中的梯度流动和隐式深度监督。特别是，DenseNet 通过前馈方式将每一层与其他所有层相连，在自然图像分类任务中展示了令人印象深刻的表现。我们提出了一种名为 HyperDenseNet 的三维全卷积神经网络，该网络将密集连接的定义扩展到多模态分割问题中。每种成像模态都有一个路径，密集连接不仅发生在同一路径内的各层之间，还发生在不同路径之间的各层之间。这与现有的多模态卷积神经网络（CNN）方法形成对比，后者通常依赖于单个联合层（或抽象层次）来融合多种模态，融合点通常位于网络的输入端或输出端。因此，所提出的网络能够在所有抽象层次内及其之间自由学习更为复杂的模态组合，从而显著提高学习表示的能力。我们在两个不同的、竞争激烈的多模态脑组织分割挑战赛——iSEG 2017 和 MRBrainS 2013 上进行了广泛的评估，前者专注于 6 个月大的婴儿数据，后者则针对成人图像。HyperDenseNet 在多个最先进的分割网络上取得了显著改进，并在这两个基准测试中均名列前茅。此外，我们还提供了特征重用的全面实验分析，证实了超密集连接在多模态表示学习中的重要性。我们的代码已公开发布在 https://www.github.com/josedolz/HyperDenseNet。