SASO：通过多尺度语义关联和显著点聚类优化实现联合3D语义-实例分割

我们提出了一种名为SASO的新型3D点云分割框架，该框架同时执行语义分割和实例分割任务。在语义分割任务中，受空间上下文中物体固有相关性的启发，我们提出了一种多尺度语义关联（Multi-scale Semantic Association, MSA）模块，以探索语义上下文信息的构建效果。在实例分割任务中，不同于以往仅在推理过程中使用聚类的方法，我们引入了一种显著点聚类优化（Salient Point Clustering Optimization, SPCO）模块，将聚类过程纳入训练阶段，并促使网络关注那些难以区分的点。此外，由于室内场景固有的结构特性，类别分布不平衡的问题虽然很少被考虑，但却严重限制了3D场景感知的性能。为了解决这一问题，我们引入了一种自适应水填充采样（Water Filling Sampling, WFS）算法来平衡训练数据的类别分布。大量实验表明，我们的方法在基准数据集上，在语义分割和实例分割任务中均优于现有最先进方法。