13 天前

GS-Occ3D:基于高斯点阵的纯视觉占据重建扩展

Baijun Ye, Minghui Qin, Saining Zhang, Moonjun Gong, Shaoting Zhu, Zebang Shen, et al
GS-Occ3D:基于高斯点阵的纯视觉占据重建扩展
摘要

占据信息(Occupancy)在自动驾驶中至关重要,为感知与规划任务提供了关键的几何先验。然而,现有方法主要依赖基于激光雷达(LiDAR)的占据标注,这限制了其可扩展性,也阻碍了对大量潜在众包数据的利用以实现自动标注。为解决这一问题,我们提出 GS-Occ3D,一种可扩展的纯视觉(vision-only)框架,能够直接重建占据信息。纯视觉占据重建面临诸多挑战,包括视角稀疏、动态场景元素、严重遮挡以及长时序运动。现有视觉方法主要采用网格(mesh)表示,存在几何信息不完整、需额外后处理等问题,限制了其可扩展性。为克服上述局限,GS-Occ3D 采用基于八叉树(Octree)结构的高斯表面元(Gaussian Surfel)显式占据表示,实现了高效且可扩展的优化。此外,我们将场景分解为静态背景、地面和动态物体三部分,从而支持差异化的建模策略:(1)显式重建地面作为主导的结构元素,显著提升大范围区域的一致性;(2)对动态车辆进行独立建模,以更准确地捕捉与运动相关的占据模式。在 Waymo 数据集上的大量实验表明,GS-Occ3D 在几何重建方面达到了当前最优性能。通过从多样化城市场景中构建纯视觉的二值占据标签,我们验证了其在 Occ3D-Waymo 上下游占据模型中的有效性,并在 Occ3D-nuScenes 上展现出卓越的零样本泛化能力。该结果凸显了大规模纯视觉占据重建作为可扩展自动标注新范式的巨大潜力。项目主页:[this https URL]