高效的自集成语义分割

集成预测被证明优于单独的预测结果。然而，对于需要大量计算资源的任务（如语义分割），训练多个独立学习器并构建集成模型在实践中往往难以实现。本文提出一种方法，旨在利用集成方法带来的性能提升来增强语义分割效果，同时避免传统集成方法所带来的高昂训练成本。我们提出的自集成（self-ensemble）方法充分利用特征金字塔网络（Feature Pyramid Network）生成的多尺度特征，将其输入到多个独立的解码器中，从而在一个模型内部实现集成效果。与传统集成方法类似，最终的预测结果由各个子模型的预测结果进行聚合得到。与以往方法不同，我们的模型可实现端到端训练，显著简化了传统集成方法中繁琐的多阶段训练流程。实验结果表明，该自集成方法在基准数据集Pascal Context和COCO-Stuff-10K上的语义分割任务中超越了当前最先进的模型，在ADE20K和Cityscapes数据集上也表现出具有竞争力的性能。代码已公开发布于GitHub：github.com/WalBouss/SenFormer。