一种用于开放词汇分割与检测的简单框架

我们提出 OpenSeeD，一个简洁的开放词汇分割与检测框架，该框架能够联合学习来自不同分割与检测数据集的视觉信息。为弥合词汇空间与标注粒度之间的差距，我们首先引入一个预训练的文本编码器，用于编码两类任务中的所有视觉概念，并在此基础上学习一个共享的语义空间。相较于仅在分割任务上训练的模型，该方法取得了合理且优异的性能表现。为进一步协调两类任务，我们识别出两个关键差异：其一，任务差异——分割任务需要同时提取前景物体与背景“stuff”的掩码，而检测任务仅关注前景物体；其二，数据差异——边界框（box）与掩码（mask）标注具有不同的空间粒度，因此无法直接互换使用。针对上述问题，我们提出两种创新机制：一是解耦解码（decoupled decoding），以减少前景与背景之间的相互干扰；二是条件掩码解码（conditioned mask decoding），通过给定边界框信息辅助生成高质量掩码。基于此，我们设计了一个简洁的编码器-解码器架构，融合上述三项技术，并在 COCO 与 Objects365 数据集上进行联合训练。预训练完成后，我们的模型在分割与检测任务上均展现出具有竞争力甚至更强的零样本迁移能力。具体而言，OpenSeeD 在五个数据集上均超越当前最优的开放词汇实例分割与全景分割方法；在 LVIS 与 ODinW 数据集上的开放词汇检测任务中，也优于以往工作，在相似设置下表现更优。当迁移到具体任务时，该模型在 COCO 与 ADE20K 数据集上的全景分割任务中达到新的最先进水平（SoTA），并在 ADE20K 与 Cityscapes 数据集上的实例分割任务中取得新的最佳性能。最后，我们指出，OpenSeeD 是首个系统探索分割与检测任务联合训练潜力的工作，期望其能作为开放世界环境下统一建模分割与检测任务的强有力基准，推动单一模型在开放词汇场景中实现更广泛的应用。