一句话总结

Meta Superintelligence Labs 推出了 SAM 3D，这是一个生成式模型，能够从单张图像重建物体的几何形状、纹理和布局。通过人工与模型协同的标注流水线，结合多阶段从合成到真实的训练框架，该模型在存在遮挡和杂乱场景的自然场景中表现出色，实现了至少 $5:1$5:1 的人类偏好胜率，并发布了代码、模型权重、在线演示和基准数据集。

核心贡献

• 提出了 SAM 3D，一个从单张自然图像预测 3D 形状、纹理和姿态的基础模型，解决了此前单视图方法难以处理的野外场景中的遮挡和杂乱问题。

• 构建了模型参与和人工参与的标注流水线，标注者从计算模块和检索模块生成的 3D 形状候选中进行选择或细化，经过审核的标注结果反馈到模型训练中，形成了一个数据引擎，以前所未有的规模生成具有视觉依据的 3D 重建数据。

• 采用了多阶段训练框架，将合成数据预训练与真实世界数据后训练对齐相结合，在人类偏好测试中，对真实世界物体的胜率达到 5:1，对场景的胜率达到 6:1，并发布了 SA-3DAO 基准，包含 1,000 个由艺术家创建的与自然图像配对的 3D 网格，同时发布了代码、模型权重和在线演示。

引言

单图像 3D 重建传统上依赖于多视图几何，但人类可以从明暗、纹理和物体识别等图像线索中推断形状。最近的生成式方法在孤立的合成物体上取得了强大结果，但在自然场景中，物体可能距离较远或被严重遮挡时，这些方法表现不佳。核心瓶颈在于数据稀缺：与 3D 真实数据配对的自然图像难以大规模获取，而通用标注者也难以针对任意物体生成 3D 形状模型。作者通过 SAM 3D 解决了这一问题，这是一个生成式神经网络，能够从单张图像重建完整的 3D 形状、纹理和相机布局。他们引入了一种受 LLM 启发的多阶段训练方案，从合成数据预训练开始，接着进行半合成数据中间训练，最后通过模型参与的流水线在真实图像上进行后训练，标注者在其中选择和调整 3D 候选。他们还发布了 SA-3DAO，一个包含 1,000 个由艺术家创建的与自然图像配对的 3D 网格基准，用于评估真实世界重建效果。在人类偏好研究中，该方法在真实世界物体上的胜率达到 5:1，对场景的胜率达到 6:1。

数据集

数据集组成与来源

作者在三个训练阶段构建了数据集，每个阶段针对不同的能力。预训练和中间训练的所有数据均为合成或半合成数据，而后训练阶段通过人工参与的循环数据引擎引入了真实世界图像。

关键子集

• Iso-3DO（预训练）

  • 来源：来自 Objaverse-XL 和许可数据集的 270 万个物体网格。
  • 组成：从 24 个视角渲染的图像-形状-纹理三元组，每个视角生成单个居中物体的高分辨率图像。
  • 规模：训练了 2.5 万亿 token。

• RP-3DO（中间训练）

  • 来源：通过 alpha 合成（渲染-粘贴）将带纹理的网格渲染到自然图像中。
  • 组成：两个子集，一个包含遮挡物与遮挡物的配对，另一个将真实物体替换为在相似位置和尺度上的合成物体，提供具有准确 3D 真实数据的物理合理数据。
  • 规模：6100 万个样本，包含 280 万个唯一网格，训练了 2.7 万亿 token。

• Art-3DO（困难案例分诊）

  • 来源：专业 3D 艺术家。
  • 组成：一小部分最困难的案例，其中没有模型能够生成合理的物体形状；分流给艺术家进行直接标注。

• 后训练数据（真实世界对齐循环）

  • 来源：从多样化的真实世界数据集中采样的自然图像，使用基于 3D 方向的分类体系进行平衡。
  • 组成：标注包括 3D 形状、纹理、朝向、3D 位置和尺度。流水线包含三个阶段：目标物体选择（图像和掩码）、物体模型排序与选择（形状和纹理）、以及将物体对齐到 2.5D 场景（相对于点云的姿态、位置、尺度）。
  • 规模：近 100 万张图像，包含 314 万个无纹理网格和 10 万个带纹理网格。

过滤与质量标准

• 标注者从模型集成生成的 8 个候选中选择最佳结果，这是一种最佳 N 搜索。模型首先过滤候选，然后由人工进一步过滤。
• 标注者对每个示例 r 进行评分，并拒绝低于质量阈值 omega 的样本。被拒绝的候选成为偏好对齐的负样本。
• 在第一次迭代中，作者依赖学习和检索模型的集成来克服冷启动问题。随着训练的进行，最佳模型产生的标注数据约占 80%。

评估数据集

• SA-3DAO：一个新的基准，包含从自然图像生成的 1K 个由艺术家创建的 3D 网格。
• ISO3D（来自 3D Arena）：用于定量形状和纹理评估。
• Aria Digital Twin (ADT)：用于布局评估。
• Pref Set：两组精选集合，用于场景和物体层面的人类偏好评估，使用来自 MetaCLIP、SA-1B 和 LVIS 的真实世界图像。

数据的使用方式

• 预训练和中间训练使用矫正条件流匹配来生成多种 3D 模态，构建形状、纹理、掩码跟随、遮挡鲁棒性和布局估计的先验知识。
• 后训练数据引擎被构建为一个 API，输入当前模型，返回训练样本、质量评分和用于偏好对齐的不太优选的候选。
• 在实验中，Geometry 模型使用点图条件进行形状和纹理训练，而布局评估需要真实深度或点图作为参考。

方法

作者提出了一种两阶段潜流匹配架构，旨在从 2D 图像重建 3D 物体。系统在两个主要阶段中运行：首先预测粗略几何和布局，随后细化形状并合成纹理。模型以输入图像和物体掩码为条件。具体来说，DINOv2 编码器从两对图像中提取特征：裁剪的物体区域和完整图像。这提供了目标物体的高分辨率局部细节和全局场景上下文。可选地，模型可以集成从硬件传感器或单目深度估计获得的粗略点图。

第一阶段是 Geometry 模型，预测粗略形状 $O$O 和布局参数 $(R, t, s)$(R,t,s) 的条件分布，分别表示 6D 旋转、平移和尺度。该模块采用 Mixture of Transformers (MoT) 架构。如下方框架图所示，MoT 采用双流方法，形状和布局 token 在并行流中处理。这些流通过多模态自注意力层交互，由特定的注意力掩码控制不同 token 类型之间的信息流动。该阶段的输出是物体的粗略体素表示及其空间布局。

第二阶段是 Texture & Refinement 模型，在给定粗略几何和图像条件的情况下学习高分辨率形状 $S$S 和纹理 $T$T 的条件分布。该模块使用稀疏潜流变换器，将 Geometry 模型预测的激活体素作为输入。它细化几何细节并合成物体纹理。所得的潜表示通过共享公共结构化潜空间的两个独立的变分自编码器（VAE）解码器解码为网格或 3D 高斯溅射。

为了弥合合成数据与真实世界应用之间的差距，作者采用了多阶段训练策略，从合成预训练逐步过渡到真实世界对齐循环。训练从预训练开始，使用孤立的合成物体（Iso-3DO 数据集），教授模型基础的形状和纹理生成能力。随后是在半合成数据（RP-3DO 数据集）上的中间训练，涉及将带纹理的网格渲染到带有模拟遮挡物的自然图像中。这一阶段培养了关键技能，如掩码跟随、遮挡鲁棒性和布局估计。下图展示了这些数据源的多样性，从独立资产到艺术家标注的网格。

训练方法的核心是后训练阶段，利用数据引擎迭代收集真实世界数据并使模型与人类偏好对齐。该过程涉及多阶段收集流水线：

1. 阶段 1（物体选择）： 人工标注者识别真实世界图像中的目标物体并提供分割掩码。
2. 阶段 2（模型排序）： 模型生成候选 3D 形状，由标注者根据视觉保真度进行排序和选择。
3. 阶段 2.5（艺术家分诊）： 模型无法解决的困难案例被路由给专业 3D 艺术家进行直接标注。
4. 阶段 3（场景对齐）： 标注者通过调整相对于点云的旋转、平移和尺度，将选定的 3D 形状对齐到 2.5D 场景中。

如下方流水线图所示，这种人工参与的循环过程生成了高质量的训练对 $(I, M) \rightarrow (S, T, R, t, s)$(I,M)→(S,T,R,t,s)。

收集的数据随后用于模型改进。这包括在对齐的网格上进行监督微调（SFT），从较嘈杂的标签开始，逐步过渡到高质量的艺术家人工标注，以抑制常见失败。为了进一步与人类审美偏好对齐，作者使用数据收集过程中生成的排序候选对应用直接偏好优化（DPO）。最后，蒸馏步骤减少了推理期间所需的函数评估次数，使 Geometry 模型能够实现亚秒级生成。

实验

实验在新建的 SA-3DAO 基准（包含 1K 个真实世界 3D 网格）以及 ISO3D、ADT 和人类偏好集上评估了 SAM 3D。SAM 3D 在单物体生成上以 5:1 的胜率超越了先前的最先进方法，在场景重建上以 6:1 的胜率领先，尤其是在具有挑战性的真实世界输入上表现突出，并引入了联合形状和布局能力。分析表明，随着数据引擎迭代次数的增加和所有训练阶段的共同扩展，性能呈现稳定的近线性增长，多阶段训练在形状质量上产生近单调的改进。

SAM 3D 采用多阶段训练流水线，逐步整合几何、纹理和细化阶段，每个阶段都贡献了稳定的性能提升。该模型在人类偏好测试中取得了强大的胜率，在真实世界输入上显著优于先前方法，同时保持对深度估计器的模块化。随着每个阶段的加入，多阶段训练在形状改进上呈现近单调趋势。在人类偏好研究中，SAM 3D 在真实图像上与先前 SOTA 的正面交锋胜率达到 5:1。用户对 SAM 3D 场景重建的偏好比先前 SOTA 高出 6:1。该模型在具有严重遮挡的挑战性真实世界数据集上表现出显著优势。性能随数据引擎迭代次数的增加而扩展，Elo 评分呈现近线性提升。

比较结果显示，SAM 3D 在孤立物体图像（ISO3D）上达到或超过先前的最先进水平，并在具有挑战性的真实世界输入（SA-3DAO）上显著优于所有基线。在列出的基线中，Hi3DGen 在 SA-3DAO 上取得了最高的 [email protected] 和 vIoU，而 TripoSG 凭借更高的网格分辨率在感知指标上受益。SAM 3D 在真实世界的 SA-3DAO 输入上显著优于所有基线。在 ISO3D 上，SAM 3D 达到或超过先前的最先进性能。在基线中，Hi3DGen 在 SA-3DAO 精度指标上领先，而 TripoSG 的更高网格分辨率提升了感知分数。

在 SA-3DAO 和 Aria Digital Twin 上的 3D 布局比较中，SAM 3D 与 FoundationPose 组合取得了最强的整体性能，尤其是在 Aria Digital Twin 上，其 3D IoU 和 [email protected] 最高，同时旋转误差和 ADD-S 最小。流水线基线结果各异，而联合生成模型 MIDI 表现不佳，误差明显更高且重叠率接近零。SAM 3D + FoundationPose 在 Aria Digital Twin 上优于所有流水线基线，具有最高的 3D IoU 和 [email protected] 以及最低的旋转误差。在 SA-3DAO 上，SAM 3D + FoundationPose 在旋转误差和 [email protected] 方面位列最佳，尽管 HY3D-2.0 + FoundationPose 的 3D IoU 略高。联合生成模型 MIDI 的表现远差于流水线方法，在 Aria Digital Twin 上 3D IoU 接近零，旋转和 ADD-S 误差非常高。

多阶段训练逐步提升 3D 形状质量，每个新增阶段都带来更好的 F1、vIoU 以及更低的 Chamfer 和 EMD 分数。纹理胜率也随中间阶段的加入而上升，尽管最终在 Art-3DO 上的 DPO 显示轻微偏好波动。一致的收益验证了同时扩展各阶段的方法。随着每个训练阶段的加入，从预训练到 Art-3DO 上的 DPO，形状指标呈现近乎单调的改进。形状质量的最大相对提升发生在从预训练到中间训练的过渡中，后续阶段贡献了较小但稳定的改进。纹理胜率在中间训练和 SFT 阶段上升，在 DPO 阶段保持大致稳定，表明后期阶段的输出持续获得偏好。

评估通过多阶段训练流水线验证了 SAM 3D，该流水线逐步整合几何、纹理和细化阶段，在形状上产生近单调的改进，并在真实世界图像上相对先前最先进方法取得强大的人类偏好胜率。它在具有挑战性的真实世界输入上优于所有基线，在孤立物体图像上达到或超过先前性能，同时保持对深度估计器的模块化，并随更多数据引擎迭代而扩展。在 3D 布局任务中，SAM 3D 与 FoundationPose 组合在真实世界数据集上取得了最强的整体性能，而联合生成模型 MIDI 相比流水线方法表现大幅落后。