摘要
在基于RGB-D数据的多类别室内语义分割任务中，已有研究表明，将深度特征融入RGB特征有助于提升分割精度。然而，以往研究在多模态特征融合方面尚未充分挖掘其潜力，例如仅采用RGB与深度特征的简单拼接，或对RGB与深度的预测得分图进行平均处理。为学习多模态特征的最优融合方式，本文提出一种新型网络架构，将残差学习的核心思想拓展至RGB-D语义分割任务。该网络通过引入多模态特征融合模块与多层级特征精炼模块，有效捕获多层次的RGB-D卷积神经网络特征。其中，特征融合模块学习RGB与深度特征的残差形式及其组合，充分挖掘RGB与深度数据之间的互补特性；特征精炼模块则融合多层级的融合特征，以实现高分辨率的预测输出。通过充分利用跳跃连接（skip-connections），本网络能够端到端地高效训练出具有判别性的多层次特征。大量实验结果表明，所提出的架构在两个具有挑战性的RGB-D室内数据集——NYUDv2与SUN RGB-D上均达到了当前最优的分割精度。