占据栅格网络 (Occupancy Network) 是一种基于学习的 3D 重建方法的新表示。这个概念于 2018 年在论文「Occupancy Networks: Learning 3D Reconstruction in Function Space」中首次被提出,该论文已被 CVPR 2019 接受。
Occupancy Network 的核心思想是通过预测 3D 空间中的占据概率来获得一种简单的 3D 空间表示。这种方法不依赖于传统的 3D 目标检测,而是将世界划分为微小的立方体或体素,并预测每个体素是空闲还是被占用。这样,Occupancy Network 能够以超过 100 FPS 的速度运行,且具有超强的内存效率,能够理解移动对象和静态对象。
特斯拉在 CVPR 2022 和特斯拉人工智能日上介绍了 Occupancy Network 的概念,并展示了其在感知系统中的应用。特斯拉的 Occupancy Network 模型结构包括从多个视角的图像中提取特征,然后通过注意力模块和 transformer 来预测占用 Occupancy,最终输出 3D 空间的 Occupancy volume 和 Occupancy flow 。
此外,Occupancy Network 还与神经辐射场 (NeRF) 技术相结合,通过比较 Occupancy Network 生成的 3D 体积与 NeRF 产生的 3D 重建场景,来验证预测的 3D 场景是否与实际场景匹配。这种方法有助于解决遮挡、图像模糊、雨雾等复杂环境问题。
在自动驾驶领域,Occupancy Network 提供了一种新的视角来处理感知任务,尤其是在处理长尾障碍物和未知类别对象时,展现出了其独特的优势。随着技术的不断发展,Occupancy Network 有望成为自动驾驶感知系统中不可或缺的一部分。