VISA：通过大型语言模型进行视频对象分割的推理

现有的视频对象分割（VOS）依赖于显式的用户指令，如类别、掩码或简短语句，这限制了其在需要基于世界知识进行复杂推理的视频分割任务中的能力。本文中，我们引入了一项新任务——推理视频对象分割（ReasonVOS）。该任务旨在响应隐式文本查询生成一系列分割掩码，这些查询需要基于世界知识和视频上下文的复杂推理能力，这对于结构化环境理解和以对象为中心的交互至关重要，是具身人工智能（Embodied AI）发展的重要方向。为了解决ReasonVOS问题，我们提出了VISA（基于视频的大语言模型指导的分割助手），该方法利用多模态大语言模型的世界知识推理能力，同时具备通过掩码解码器在视频中分割和跟踪对象的能力。此外，我们建立了一个全面的基准测试集，包含来自1,042个多样化的视频中的35,074对指令-掩码序列，将复杂的世 界知识推理融入到分割任务中，用于ReasonVOS模型的指令调优和评估。我们在8个数据集上进行的实验表明，VISA在处理复杂推理分割和常规指代分割方面，在视频和图像领域均表现出有效性。代码和数据集可在https://github.com/cilinyan/VISA 获取。