任意粒度下的语言指令通用分段

本文旨在实现任意语义层次的通用分割。尽管近年来取得了显著进展，但专门的分割方法仍局限于特定任务和数据分布。为了适应新场景或设置而重新训练新的模型需要高昂的计算和时间成本，这引发了对多功能且通用的分割模型的需求，该模型能够满足不同粒度的要求。虽然已经有一些尝试统一不同的分割任务或将模型泛化到各种场景中，但由于范式定义和输入输出空间的局限性，这些方法难以在任意粒度上准确理解内容。为此，我们提出了 UniLSeg，这是一种能够在语言指令指导下执行任意语义层次分割的通用模型。为了训练 UniLSeg，我们将一组来自原始多样化分布的任务重组为统一的数据格式，其中图像和描述分割目标的文字作为输入，相应的掩码作为输出。结合自动标注引擎以利用大量未标注数据，UniLSeg 在各种任务和设置中表现出色，超越了专门和统一的分割模型。