11 天前

超越最后一层:基于Agent插值初始化的分层查询融合Transformer用于3D实例分割

Jiahao Lu, Jiacheng Deng, Tianzhu Zhang
超越最后一层:基于Agent插值初始化的分层查询融合Transformer用于3D实例分割
摘要

3D实例分割旨在预测场景中的多个物体实例,并将其表示为带有相应语义标签的二值前景掩码。目前,基于Transformer的方法因其简洁的流程、减少对几何属性的人工选择以及卓越的性能而受到越来越多的关注。然而,现有的基于Transformer的方法在查询初始化阶段难以同时保持强位置信息与丰富的内容信息。此外,由于在解码器每一层均施加监督信号,导致随着网络深度增加出现物体“消失”现象。为克服上述挑战,本文提出一种名为“超越最后一层:面向3D实例分割的分层查询融合Transformer与代理插值初始化方法”(Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization, BFL)。具体而言,本文设计了代理插值初始化模块(Agent-Interpolation Initialization Module),用于生成具备鲁棒性的查询,能够在前景覆盖范围与内容学习能力之间实现良好平衡。同时,提出分层查询融合解码器(Hierarchical Query Fusion Decoder),以保留低重叠区域的查询,有效缓解因网络加深而导致的召回率下降问题。在ScanNetV2、ScanNet200、ScanNet++和S3DIS等多个公开数据集上的大量实验表明,BFL方法在3D实例分割任务中展现出显著优于现有方法的性能。

超越最后一层:基于Agent插值初始化的分层查询融合Transformer用于3D实例分割 | 最新论文 | HyperAI超神经