结合上下文实例查询的3D语义场景补全

三维语义场景补全（3D Semantic Scene Completion, SSC）作为自动驾驶领域的一项新兴且关键的任务，旨在预测体积场景中的体素占用情况。然而，现有的方法主要集中在体素级别的特征聚合上，而忽视了实例语义和场景上下文。在本文中，我们提出了一种新的范式——Symphonies（Scene-from-Insts），该范式深入研究了实例查询的整合，以协调从二维到三维的重建和三维场景建模。通过我们提出的序列实例传播注意力机制（Serial Instance-Propagated Attentions），Symphonies 动态编码以实例为中心的语义信息，促进了基于图像和体积域之间的复杂交互。同时，Symphonies 通过高效融合实例查询来捕捉上下文信息，从而通过场景上下文推理缓解几何模糊问题，如遮挡和视角误差。实验结果表明，Symphonies 在具有挑战性的基准测试数据集 SemanticKITTI 和 SSCBench-KITTI-360 上取得了最先进的性能，分别获得了 15.04 和 18.58 的显著平均交并比（mIoU）分数。这些结果展示了该范式的前景和进展。代码已发布在 https://github.com/hustvl/Symphonies。