17 天前

SNE-RoadSeg:将表面法线信息融入语义分割以实现精确的自由空间检测

Rui Fan, Hengli Wang, Peide Cai, Ming Liu
SNE-RoadSeg:将表面法线信息融入语义分割以实现精确的自由空间检测
摘要

自由空间检测是自动驾驶汽车视觉感知系统中的关键组成部分。近年来,基于数据融合的卷积神经网络(CNN)在语义驾驶场景分割方面取得了显著进展。自由空间可被建模为一个地面平面,其上的点具有相似的表面法向量。因此,本文首先提出一种新型模块——表面法向量估计器(Surface Normal Estimator, SNE),该模块能够高效且高精度地从密集深度图或视差图中推断出表面法向量信息。此外,本文进一步提出一种数据融合CNN架构,命名为RoadSeg,该架构能够同时从RGB图像和推断得到的表面法向量信息中提取并融合特征,从而实现高精度的自由空间检测。为支持相关研究,我们发布了一个大规模合成的自由空间检测数据集,命名为“Ready-to-Drive”(R2D)道路数据集,该数据集在不同光照与天气条件下采集,具有良好的多样性和代表性。实验结果表明,所提出的SNE模块能够显著提升各类先进CNN模型在自由空间检测任务中的性能,且SNE-RoadSeg在多个数据集上均取得了最优的整体表现。