Command Palette
Search for a command to run...
重新思考BiSeNet用于实时语义分割
重新思考BiSeNet用于实时语义分割
Mingyuan Fan, * Shenqi Lai, * Junshi Huang, † Xiaoming Wei, † Zhenhua Chai, Junfeng Luo, Xiaolin Wei
摘要
BiSeNet 已被证明是一种流行的用于实时分割的双流网络。然而,其通过增加额外路径来编码空间信息的原则较为耗时,且从预训练任务(如图像分类)借用的骨干网络可能由于缺乏针对特定任务的设计而对图像分割效率不高。为了解决这些问题,我们提出了一种新颖且高效的结构——短期密集连接网络(Short-Term Dense Concatenate network, STDC 网络),通过去除结构冗余实现这一目标。具体而言,我们逐步降低特征图的维度,并将其聚合用于图像表示,这构成了 STDC 网络的基本模块。在解码器中,我们提出了一种细节聚合模块,通过在单流模式下将空间信息的学习整合到低层中。最终,低层特征和深层特征融合以预测最终的分割结果。我们在 Cityscapes 和 CamVid 数据集上进行了大量实验,结果表明我们的方法在分割精度和推理速度之间取得了令人满意的平衡。在 Cityscapes 数据集上,我们在 NVIDIA GTX 1080Ti 上实现了 71.9% 的测试集 mIoU 和 250.4 FPS 的速度,比最新方法快 45.2%,同时在高分辨率图像上推理时达到了 76.8% 的 mIoU 和 97.0 FPS 的速度。