Open3DIS: 基于开放词汇的3D实例分割与2D掩码引导

我们介绍了Open3DIS，这是一种新颖的解决方案，旨在解决三维场景中的开放词汇实例分割问题。三维环境中的物体表现出多样的形状、尺度和颜色，使得精确的实例级识别成为一项具有挑战性的任务。近年来，在开放词汇场景理解方面取得了显著进展，这些进展通过使用类别无关的三维实例提案网络进行物体定位，并为每个三维掩码学习可查询特征来实现。尽管这些方法生成了高质量的实例提案，但在识别小尺度和几何模糊的物体时仍面临困难。我们的方法的关键思想是一个新的模块，该模块在帧间聚合二维实例掩码，并将其映射到几何连贯的点云区域作为高质量的对象提案，从而解决了上述限制。随后，这些提案与三维类别无关的实例提案相结合，以涵盖现实世界中广泛存在的各种物体。为了验证我们的方法，我们在三个知名数据集上进行了实验，包括ScanNet200、S3DIS和Replica，结果表明，在分割具有多样类别的物体方面，我们的方法相比现有最先进方法实现了显著的性能提升。