室内语义分割一直是计算机视觉领域的难题。本文提出了一种名为RedNet的RGB-D残差编码器-解码器架构，用于室内RGB-D语义分割。在RedNet中，残差模块作为基本构建块应用于编码器和解码器，并使用跳跃连接（skip-connection）来传递编码器和解码器之间的空间特征。为了融合场景的深度信息，我们构建了一个融合结构，该结构分别对RGB图像和深度图像进行推理，并在多个层上融合它们的特征。为了高效地优化网络参数，我们提出了一种“金字塔监督”训练方案，该方案在解码器的不同层应用监督学习，以解决梯度消失的问题。实验结果表明，所提出的RedNet（基于ResNet-50）在SUN RGB-D基准数据集上达到了最先进的mIoU精度47.8%。