摘要
指代表达分割（Referring Expression Segmentation, RES）近年来引起了越来越多的关注，其目标是根据自然语言表达来识别和分割对象。尽管在RES方面已经取得了显著进展，但广义指代表达分割（Generalized Referring Expression Segmentation, GRES）的出现带来了新的挑战，因为它允许表达描述多个对象或缺乏特定的对象引用。现有的RES方法通常依赖于复杂的编码器-解码器和特征融合模块，在面对GRES中的复杂指代对象和二元标签时，难以生成与每个实例单独匹配的类别原型。本文重新评估了RES和GRES之间的差异，并提出了一种具有自适应绑定原型的新模型（Model with Adaptive Binding Prototypes, MABP），该模型能够自适应地将查询与相应区域的对象特征进行绑定。这使得不同的查询向量可以匹配不同类别的实例或同一实例的不同部分，大大扩展了解码器的灵活性，分散了全局压力，并减轻了对编码器的要求。实验结果表明，MABP在gRefCOCO数据集的所有三个子集上均显著优于现有最先进方法。同时，MABP在RefCOCO+和G-Ref数据集上也超越了最先进方法，并在RefCOCO数据集上取得了非常有竞争力的结果。代码已发布在https://github.com/buptLwz/MABP