面向边缘感知的3D实例分割网络及其智能语义先验

尽管近期基于Transformer架构的3D实例分割方法取得了令人瞩目的成果，但在识别外观相似的实例时仍常常表现不佳，且对边界区域的判定模糊，导致相邻边缘点出现多重误分类。针对上述挑战，本文提出一种名为EASE的新框架，旨在提升复杂3D实例的感知能力。首先，我们设计了一种语义引导网络，利用语言模型提供的丰富语义知识作为智能先验，增强模型对现实世界实例的功能性理解，突破仅依赖几何信息的局限。通过使用每个实例的文本嵌入（text embeddings）显式指导基础实例查询，模型能够学习到更深层次的语义特征。此外，我们引入边缘预测模块，促使分割网络具备边缘感知能力：从点云特征中提取体素级边缘图，并将其作为辅助信息用于学习边缘线索。在大规模基准数据集ScanNetV2、ScanNet200、S3DIS和STPLS3D上的大量实验表明，EASE显著优于现有最先进模型，充分验证了其卓越的性能。