基于相机的语义场景补全的层次时间上下文学习

基于相机的三维语义场景补全（SSC）在仅使用有限的二维图像观测预测复杂三维布局方面具有关键作用。现有的主流解决方案通常通过粗略堆叠历史帧来补充当前帧，以利用时间信息，但这种直接的时间建模方法不可避免地会削弱有效线索并增加学习难度。为了解决这一问题，我们提出了一种新的层次时间上下文学习范式——HTCL，用于改进基于相机的语义场景补全。本工作的主要创新点在于将时间上下文学习分解为两个层次步骤：(a) 跨帧亲和度测量和 (b) 基于亲和度的动态精炼。首先，为了从冗余信息中分离出关键的相关上下文，我们引入了具有尺度感知隔离和多个独立学习器的模式亲和度，以实现细粒度的上下文对应建模。随后，为了动态补偿不完整的观测数据，我们根据初始识别出的高亲和度位置及其邻近相关区域自适应地调整特征采样位置。我们的方法在SemanticKITTI基准测试中排名第一，并且在OpenOccupancy基准测试中的mIoU指标上甚至超过了基于LiDAR的方法。我们的代码已发布在 https://github.com/Arlo0o/HTCL。