基于空间信息引导的自适应上下文感知网络用于高效的RGB-D语义分割

高效的RGB-D语义分割在移动机器人领域受到广泛关注，其在环境信息的分析与识别中发挥着至关重要的作用。以往研究表明，深度信息能够为物体与场景提供相应的几何关系，但实际获取的深度数据通常含有噪声。为避免噪声对分割精度和计算效率的不利影响，亟需设计一种高效框架，以充分挖掘跨模态之间的相关性并利用互补线索。本文提出一种轻量级的编码器-解码器网络结构，有效降低模型参数量，同时保障算法的鲁棒性。该网络结合通道与空间融合注意力模块，能够高效捕获多层级的RGB-D特征。此外，本文提出一种全局引导的局部亲和上下文模块，以获取充分的高层语义上下文信息。解码器部分采用轻量级残差单元，融合短距离与长距离信息，同时保持较低的冗余计算开销。在NYUv2、SUN RGB-D和Cityscapes三个公开数据集上的实验结果表明，所提方法在分割精度、推理速度与模型参数量之间实现了更优的平衡，优于当前最先进的方法。源代码已开源，地址为：https://github.com/MVME-HBUT/SGACNet。