2 个月前

SERNet-Former:通过高效残差网络、注意力增强门和注意力融合网络实现语义分割

Erisen, Serdar
SERNet-Former:通过高效残差网络、注意力增强门和注意力融合网络实现语义分割
摘要

提高当前最先进的语义分割方法的效率需要克服日益增加的计算成本以及诸如融合全局和局部上下文中的语义信息等问题。基于卷积神经网络(CNNs)在语义分割中取得的最新成功和遇到的问题,本研究提出了一种具有独特高效残差网络(Efficient-ResNet)的编码器-解码器架构。为了融合高效残差网络编码器部分输出的全局上下文等效大小的等变和基于特征的语义信息,引入了注意力增强门(AbGs)和注意力增强模块(AbMs)。相应地,解码器网络在AbM的启发下开发了额外的注意力融合网络(AfNs)。AfNs通过在解码器部分部署额外的卷积层来提高一对一转换语义信息的效率。我们的网络在具有挑战性的CamVid和Cityscapes数据集上进行了测试,所提出的方法在残差网络上显示出显著改进。据我们所知,所开发的网络SERNet-Former在CamVid数据集上取得了最先进水平的结果(平均交并比84.62%),并在Cityscapes验证数据集上取得了有挑战性的结果(平均交并比87.35%)。