OneFormer：一个Transformer统领通用图像分割

通用图像分割并不是一个新概念。过去几十年中，为了统一图像分割所做的尝试包括场景解析、全景分割，以及最近提出的一些新的全景架构。然而，这些全景架构并未真正实现图像分割的统一，因为它们需要分别在语义分割、实例分割或全景分割上进行单独训练才能达到最佳性能。理想情况下，一个真正的通用框架应该只需一次训练就能在所有三种图像分割任务上实现最先进（SOTA）的性能。为此，我们提出了OneFormer，这是一种采用多任务一次性训练设计的通用图像分割框架。首先，我们提出了一种任务条件下的联合训练策略，该策略能够在单一的多任务训练过程中同时利用每个领域的地面真值（语义分割、实例分割和全景分割）。其次，我们引入了任务标记（task token），以使模型能够根据当前的任务进行动态调整，从而支持多任务训练和推理。最后，我们在训练过程中采用了查询-文本对比损失（query-text contrastive loss），以建立更好的跨任务和跨类别的区分度。值得注意的是，我们的单个OneFormer模型在ADE20K、CityScapes和COCO数据集上的所有三项分割任务中均优于专门的Mask2Former模型，尽管后者是在每项任务上分别使用三倍资源进行单独训练的。通过使用新的ConvNeXt和DiNAT主干网络，我们观察到了更高的性能提升。我们认为OneFormer是朝着使图像分割更加通用和易用迈出的重要一步。为了支持进一步的研究，我们已将代码和模型开源至https://github.com/SHI-Labs/OneFormer。