一句话总结

基于转换后的 SenseNova-Vision 语料库并辅以辅助数据以保持能力，由商汤科技研究院、南洋理工大学及合作者共同开发的统一多模态模型 SenseNova-Vision 将计算机视觉重新表述为文本和图像生成，消除了任务特定的架构，并通过自然语言指令和视觉提示覆盖了检测、分割、深度和多视图几何等任务。

核心贡献

• 该工作引入了一种将计算机视觉视为统一多模态生成的表述方式，其中单个统一多模态模型 (UMM) 通过其原生的文本和图像生成空间处理异构视觉任务，无需任务特定的架构，且由此产生的模型性能可与领先的任务专用系统相媲美。
• SenseNova-Vision 语料库通过将异构的计算机视觉标注转换为覆盖文本、图像以及混合文本和图像目标的指令-响应示例而构建，使得能够在结构化视觉理解、密集几何预测、分割和多视图几何等任务上大规模训练单个 UMM。
• 基于 SenseNova-Vision 语料库和辅助多模态数据训练、且没有任务特定预测头的 SenseNova-Vision 模型，在检测、OCR、关键点、分割、深度、表面法线、点图和相机位姿估计等任务上，性能可与领先的任务专用系统相媲美。它支持结合类别、颜色、区域及其他视觉线索的语言定义任务变体，且模型和语料库已公开发布。

引言

既能理解语言又能生成文本和图像的统一多模态模型 (UMM)，为整合计算机视觉中众多零散的任务提供了自然的基础。此前的努力要么将多样的输出序列化为文本 token，这对于密集空间图来说变得笨拙；要么依赖特定任务解码器进行像素级预测；要么仅使用图像生成，这无法表达像框和类别这样的符号化记录。作者引入了 SenseNova-Vision，一个单一的 UMM，将异构的视觉任务视为统一的多模态生成：自然语言指令指定任务和输出模式，而文本生成处理符号化答案，图像生成则自然地表示空间对齐的密集预测，如掩码、深度和法线。这种表述方式反映了 GPT 为自然语言处理 (NLP) 带来的统一，使得一个模型无需任何特定任务的头，就能吸收来自检测、分割、密集几何和多视图 3D 的监督信号。

数据集

作者构建了 SenseNova-Vision 语料库 (SN-VC)，这是一个从公开可用的图像中构建的大规模多模态数据集。它将异构的计算机视觉标注统一为一种通用的指令-响应格式，从而能够训练统一的多模态模型。已发布的子集 SN-VC-50M 包含 5000 万个生成和精选的示例，而语料库的其余部分可以通过提供的源列表、提示模板和转换脚本重现。

数据集组成和来源

• SN-VC 分为四个任务族，每个族都源于公开数据集（数量见图 5a）：
• 结构化视觉理解：检测、指代、指向、关键点定位、OCR、布局理解和 GUI 基础。
• 密集几何预测：深度图和表面法线。
• 分割：单目标（指代、推理、交互式）和多区域（通用、全景）分割，以及基础对话生成 (GCG) 分割。
• 多视图视觉几何：3D 重建（XYZ 点图）和相机位姿估计。
• 当原始标注可以直接转换为可解码目标时，将直接使用。对于不完整或不足的监督，会生成或精选额外的目标。

每个子集的关键细节和处理过程

• SN-VC-50M（精选/生成子集） 包括：
• 结构化视觉理解：通过 Rex-Omni 流程生成的额外检测和 OCR 数据。
• 密集几何预测：由 MoGe-2 生成的额外深度和法线目标，并通过有效性和场景内容检查进行过滤。
• 分割：精选的混合文本-图像目标（例如，GCG 分割），其中区域描述和颜色图例与掩码图像对齐。
• 多视图视觉几何：使用 LingBot-Depth 补全的稀疏深度；移除具有无效深度、缺失相机信息或元数据不一致的示例。
• SN-VC 的可重现部分：其余示例通过确定性模板直接从公开标注转换而来。发布的源列表、提示模板、转换规则和示例允许完全重现。
• 所有示例都遵循一个通用模式：一个或多个视觉输入（单张图像、带视觉提示的图像或有序图像集）、一条自然语言指令和一个可解码的响应。
• 结构化理解响应是带有归一化坐标和轻量级标记（例如，<bbox>、<point>）的文本。
• 密集预测渲染为图像：深度使用逆深度灰度图，表面法线使用 RGB 法线图。
• 对于单目标任务，分割使用二值掩码；对于多区域任务，使用带有颜色图例的混合文本-图像响应。
• 多视图几何输出每视图的 XYZ 点图作为图像，以及使用保留 token（<frame>、<quat> 等）的结构化文本格式的相机位姿。

论文如何使用这些数据

• 整个 SN-VC 语料库用于训练统一的多模态模型。没有提及单独的混合比例；所有族的示例被视为独立样本，即使同一源图像出现在多个任务中。
• 训练严格遵守官方评估划分：对于任何与基准重叠的数据集，相应的评估图像和标注会从训练中排除。所有其他转换的示例构成训练集。

方法

作者建立了一个统一的数据协议，以标准化统一多模态模型 (UMM) 的训练模式。该协议定义了一个通用的样本结构，包括一个或多个视觉输入、一条自然语言指令和一个可解码的目标响应。指令规定了任务意图、输出模式和解码约定，而响应被表述为文本、图像或混合文本-图像输出。这种设计确保了多样化的计算机视觉任务可以被恢复为与基准兼容的标签、坐标、掩码、密集图或相机参数。该框架将任务分为四个不同的族：结构化视觉理解、密集几何预测、分割和多视图视觉几何。

对于结构化视觉理解，作者将标注表示为文本生成目标，利用诸如 <p>、<bbox> 和 <point> 的轻量级文本标记来界定短语和归一化坐标字段。密集几何预测任务，包括深度和表面法线估计，利用条件图像生成，其中响应图像存储密集信号的确定性视觉编码。对于单目标请求，分割任务采用二值掩码图像；对于多区域任务，则采用带有 <color> 标记的混合文本-图像响应。多视图视觉几何任务将密集场景几何表示为图像空间中的每视图 XYZ 点图，而相机位姿输出则被编码为结构化文本序列，使用保留的特殊 token 表示四元数旋转、平移和缩放。

为了构建训练语料库，作者按照既定协议将公开的计算机视觉数据集转换为指令-响应示例。每个源标注通过任务模板转换为训练样本，并根据任务上下文选择视觉输入。为了解决不完整或不足的监督，作者通过特定的过滤和生成工作流程来精选额外的目标。例如，他们利用 MoGe-2 为几何预测任务补全不完整的监督，并应用 LingBot-Depth 在多视图几何中补全稀疏深度，随后通过严格的有效性和场景内容过滤来确保数据质量。

训练过程通过监督微调，使现有的 UMM 适应统一的视觉任务语料库。作者采用了一种混合任务微调策略，在转换后的计算机视觉样本和通用多模态数据上联合优化模型。这种方法使模型能够学习基准可读输出的表示，同时保留如图像理解和生成等广泛能力。一种联合采样策略从加权混合的任务类别中抽取小批量数据，从而在同一优化过程中产生交错的文本和视觉监督目标。文本形式的输出在下一个 token 预测范式下使用标准的交叉熵损失进行优化。相反，视觉输出被编码到 VAE 的潜在空间中，并通过继承自基础模型的 rectified-flow 训练目标进行优化。这种异构学习机制使模型能够通过原生的文本和图像解码器掌握多样化的计算机视觉目标，而无需引入任务特定的预测头。

对于高分辨率和多视图训练，作者为需要精细空间条件的图像输入任务（如分割）保持最高 980 像素的 SigLIP2 输入分辨率。在多视图视觉几何中，通过从每个场景中随机选择最多 10 个视图来形成训练样本，以管理内存约束。点图与第一个视图对齐并进行中心归一化，而相机位姿估计则重新利用专用的词汇表条目作为特殊 token 来编码量化的位姿参数。优化过程使用 AdamW 优化器，学习率为 $2.5 \times 10^{-5}$2.5×10−5，无权重衰减。模型训练 50,000 步，每个样本的最大上下文窗口为 32,000 个 token，最终评估依赖于比率为 0.995 的指数移动平均检查点。

实验

评估覆盖了四个任务族——结构化视觉理解、密集几何预测、分割和多视图视觉几何——在一个统一的多模态生成设置下，任务通过自然语言指定，输出被解析为结构化文本或图像格式。与最近的通才模型的比较表明，统一文本和图像生成能实现更广泛的覆盖，并且该模型在保留其预训练的多模态能力的同时，在多种视觉任务上取得了强劲的结果。定性分析揭示了不同任务的收敛速度各异，其中空间对齐的预测收敛最快，并且从不同领域学到的能力可以重新组合以执行新颖的任务，例如指代式交互分割和自由形式语言到掩码的生成，这显示了灵活的跨模态对应能力。

评估范围包括基于框的检测、指代、OCR 定位、点定位、GUI 基础以及关键点检测。据报道，SenseNova-Vision 取得了强劲的整体性能，尤其是在密集、长尾、小目标、指代和 OCR 基准测试上。在比较的基线中，LocateAnything 在大多数空间定位任务上领先，而 Qwen3.5-9B 的关键点准确率最高。LocateAnything 在 COCO-Common、LVIS、Dense200、VisDrone、HierText、ICDAR15 和 ScreenSpot-V2 上取得了最佳得分，其中在 HierText 上 F1@mIoU 为 60.4，在 Dense200 上为 58.7。Qwen3.5-9B 提供了最高的关键点定位性能（92.2 F1@mOKS），但其 GUI 基础准确率仅为 11.4。Bagel 和 Qwen3-VL-8B-Instruct 获得了有竞争力的指代得分（在 HumanRef 和 RefCOCOg 上 F1@mIoU 超过 70），但在 HumanRef 和 RefCOCOg 测试集上被 LocateAnything 超越。

该表比较了多个基准测试上的密集深度和表面法线估计。像 MoGe-2 这样几何专业模型取得了最强的整体精度，而基于生成的方法 Marigold 和 DICEPTION 表现出更高的误差。提出的 SenseNova-Vision 优于其他基于生成的方法，并保持与专业模型的竞争力。几何专业模型 MoGe-2 在 NYUv2、KITTI、ETH3D 和 ScanNet 上取得了最低的绝对相对深度误差和最高的 δ1。基于生成的方法 Marigold 和 DICEPTION 在所有评估数据集上始终表现出比专业模型更大的深度误差和更低的法线精度。SenseNova-Vision 在深度和法线估计上均超越了 Marigold 和 DICEPTION，并达到了与 DepthAnything V2 等专业模型同等的性能。

SenseNova-Vision 在多种设置下提供有竞争力的分割性能，在推理分割上取得了最佳结果，并在所比较的模型中取得了最佳的框提示交互式分割 mIoU。它在通用全景分割和指代基准测试上落后于专业模型，后者拥有外部掩码先验知识的优势。在基础对话生成分割上，它排名第二，仅次于 X-SAM，但优于 LISA-7B。SenseNova-Vision 在推理分割上领先所有报告的方法，在验证集和测试集上都取得了最高的 gIoU。对于使用框提示的交互式分割，它获得了最高的 mIoU (73.9)，而其点提示 mIoU 低于 PSALM 和 X-SAM。在通用全景分割中，其 PQ 低于 PSALM 和 X-SAM，这反映了利用预训练掩码模型的专业模型所具有的优势。

前馈式几何模型在多视图重建和相机位姿估计上始终优于通才方法。在 ETH3D 上，VGGT 和 Depth Anything 3 的准确度和完整性明显高于 MapAnything 和 G2VLM，而对于相机位姿，前馈式模型在 RTA 和 AUC 上领先，尤其是在 RealEstate10K 和 CO3Dv2 上。性能差距凸显了以几何为重点的训练和归纳偏置的优势。Depth Anything 3 在 7Scenes 上取得了最高的重建 F1 (90.5)，并在 RealEstate10K (RTA 96.4, AUC 89.6) 和 CO3Dv2 (RTA 98.0, AUC 91.8) 上取得了最佳的相机位姿指标。在 ETH3D 上，VGGT 达到 0.177 的准确度和 80.9 的 F1，显著优于 MapAnything (准确度 0.400, F1 67.0) 和 G2VLM (准确度 0.784, F1 36.7)。像 G2VLM 这样的通才模型在相机位姿的 AUC 上表现明显较低（Re10K 上为 51.8，CO3Dv2 上为 55.2），这表明与前馈式模型相比，其相对位姿精度较弱。

SenseNova-Vision 在检测、语义分割、指代分割和深度估计上优于视觉-语言理解模型 Youtu-VL。尽管输出模态不同，它仍与以图像生成为中心的模型 Vision Banana 在分割和密集预测基准测试上保持竞争。这种更广泛的覆盖得益于对文本、图像和混合输出进行统一多模态生成，这自然地适应了多样化的计算机视觉任务所需的异构输出形式。SenseNova-Vision 实现了比 Youtu-VL 更高的检测 mAP、语义分割 mIoU 和指代分割 cIoU。其在 NYUv2 上的深度估计准确率 (δ1) 显著高于 Youtu-VL。尽管 Vision Banana 专注于图像生成，SenseNova-Vision 在图像空间分割和密集预测上仍与其保持竞争。统一多模态生成使 SenseNova-Vision 能够处理结构化、语义和密集的视觉任务，而不受限于单一的输出模态。

实验评估了 SenseNova-Vision 在空间定位、密集深度和法线估计、分割、多视图几何以及与其他通才模型的比较上的表现。该模型始终表现强劲，在深度和法线任务上优于基于生成的方法，同时在推理分割和框提示交互式分割上领先。其统一文本、图像和混合输出的多模态生成能力使其能够处理多样化的视觉任务，并常常能与专业模型相媲美，尽管前馈式几何模型在多视图重建和相机位姿上仍占主导地位。