一句话总结

作者提出了SceneFun3D，一个大规模数据集，包含超过14.8k个细粒度交互标注，涉及710个高分辨率真实世界室内三维场景，并配有运动参数和任务描述，以支持三个新任务——功能分割、任务驱动的可供性定位和三维运动估计——在这些任务上，现有方法表现不佳，凸显了功能场景理解的挑战。

核心贡献

• SceneFun3D提供了一个大规模数据集，包含通过激光扫描获取的710个高分辨率真实世界室内场景，涵盖超过14.8k个细粒度交互标注、运动参数信息以及针对功能交互元素的自然语言任务描述。
• 引入了三个新任务：功能分割、任务驱动的可供性定位和三维运动估计，将关注点从物体级别理解转向以交互为中心的功能元素分析。
• 将最先进的封闭集和开放集三维场景理解方法适配到这些任务上，实验表明，尽管取得了最新进展，但在真实三维场景中实现准确的功能推理仍有很大挑战。

引言

对旋钮、把手、按钮等功能交互元素的感知，对于具身人工智能、机器人和混合现实至关重要，但由于消费级RGB-D重建通常无法捕捉到此类微小细节的精细几何结构，这一领域仍未被充分探索。早期的三维可供性数据集虽然标注了CAD模型上的物体部件，但缺乏真实世界的场景级别标注，并且Gibsonian可供性本身并不传达交互元素的用途或目的性功能。作者提出了SceneFun3D，这是首个大规模数据集，利用高分辨率激光扫描为真实室内场景中的功能元素提供14.8k个详细的掩码和可供性标签，并辅以任务驱动的自然语言描述和以交互为中心的运动参数。此外，作者引入了三个新的基准——功能分割、任务驱动的可供性定位和三维运动估计——以统一评估细粒度场景理解。

数据集

作者在ARKitScenes的基础上构建了SceneFun3D数据集，结合高分辨率激光扫描与带姿态的RGB视频，以捕捉室内环境中的功能交互元素。

• 数据来源与组成 ARKitScenes为每个场景提供多次Faro Focus S70激光扫描（约四次）和iPad Pro视频流（广角/超广角RGB、LiDAR深度、ARKit网格），但初始时处于不同的坐标框架中。经过清理和配准，数据集保留了710个室内场景。当激光扫描仪姿态错误、场景过小且缺少交互点，或者无法获取高分辨率RGB帧时，场景会被丢弃。

• 点云处理 每个场景的激光扫描将使用提供的扫描仪姿态进行融合，然后通过5毫米体素下采样，以保留精细几何结构（按钮、旋钮、把手），同时使点云可被模型处理。在与相机姿态对齐之前，通过DBSCAN聚类去除透明表面造成的虚假点。

• 与相机姿态的配准 为了将激光扫描转换到iPad的坐标系中，作者首先从RGB-D帧中重建一个带有内插相机姿态的高分辨率点云。然后使用Predator和多尺度ICP优化将该代理点云与清理后的激光扫描对齐。通过对投影颜色的视觉检查来检测失败情况，并通过人工对应关系加以解决。

• 标注规范 一个基于网络的工具允许标注员在观看场景视频的同时，直接以单点精度标注稠密点云。每个功能交互元素会获得：

• 一个实例掩码和9个Gibsonian可供性标签中的一个（例如，“tip push”、“grasp”）。

• 一个三维运动标注（平移或旋转，包括轴原点和方向）。

• 一条自然语言任务描述（例如，“打开天花板灯”）。这些描述随后通过ChatGPT改写进行扩充，将10,913条原始描述扩展到17,133条。 几何结构捕捉不佳（如反光材质）的实例会被标记为“排除”，并在评估时不加考虑。

• 数据集划分 测试集为官方ARKitScenes验证划分（85个场景）。其余场景随机划分为训练集（545个场景）和验证集（80个场景）。

• 规模与统计

• 14,867个功能标注总数。

• 14,279个运动标注（8,325个平移，6,542个旋转）。

• 17,133条语言任务描述（原始 + 改写）。

• 论文中的使用 该划分用于训练模型并在功能交互元素检测、可供性分类、运动参数估计和任务描述生成上进行基准测试。

方法

作者围绕功能交互元素，处理三个新颖的三维场景理解任务。任务一是功能分割。给定输入点云 $\mathcal{P} = \{(p_i, f_i)\}$P={(pi​,fi​)}，其中 $p_i \in \mathbb{R}^3$pi​∈R3 是坐标，$f_i$fi​ 是特征（如RGB颜色和法线），模型为$K$K个实例预测实例掩码 $\{m_i\}_{i=1}^K${mi​}i=1K​ 和关联的可供性标签 $\{\ell_i\}_{i=1}^K${ℓi​}i=1K​。这要求以与物体类别无关的方式理解视觉可供性。任务二是任务驱动的可供性定位。给定点云 $P$P 和自由形式的任务描述 $D$D，目标是预测所指向功能元素的实例掩码 $m$m 和可供性标签 $\ell$ℓ，这要求理解目的性可供性。任务三是运动估计。给定 $P$P，模型确定描述所需交互的运动参数 $\{\phi_i\}_{i=1}^K${ϕi​}i=1K​。每个参数表示为 $\phi_i = \{t_i, a_i, o_i\}$ϕi​={ti​,ai​,oi​}，其中 $t_i \in \{\text{rotation}, \text{translation}\}$ti​∈{rotation,translation} 是运动类型，$a_i \in \mathbb{R}^3$ai​∈R3 是运动轴方向，$o_i \in \mathbb{R}^3$oi​∈R3 是运动原点。

为了支持这些任务，作者通过多阶段流程构建了SceneFun3D数据集。使用Faro Focus S70激光扫描仪获取高分辨率点云。每个场景的多次扫描被合并，并以5mm体素大小下采样，以保留通常会在消费级RGB-D重建中丢失的微小交互元素的精细几何细节。

如下图所示，与RGB-D重建相比，激光扫描能够捕获到对小型交互元素进行几何细粒度标注所需的高水平细节。

接下来，将激光扫描配准到相机姿态的坐标系中。从RGB-D帧中重建一个高分辨率代理点云。DBSCAN聚类算法去除透明表面产生的多余点。然后使用Predator和多尺度Iterative Closest Point (ICP) 将激光扫描与代理点云对齐。

对于语义标注，开发了一个轻量级基于网络的工具，能够直接在高分辨率点云上进行标注并达到单点精度。基于Bounding Volume Hierarchies (BVH) 的加速射线投射算法加快了空间查询速度。标注员检测功能性，分配九个受Gibsonian启发的可供性标签之一，并标注实例掩码。

如下图所示，功能交互元素标注的例子展示了九种可供性类别。

为了捕捉目的性可供性，为每个功能性收集自然语言任务描述。标注员提供唯一涉及该元素的任务描述，随后通过ChatGPT进行扩充以增加多样性。

如下图所示，收集到的自然语言任务描述示例展示了在场景上下文中功能性的目的性可供性。

最后，收集三维运动标注。标注员观察点云和场景视频以推断所需的交互。选择运动类型，通过选取一个点指定运动轴原点，并使用辅助工具定义轴方向。

如下图所示，三维运动标注的例子展示了运动类型、轴原点和方向。

实验

SceneFun3D数据集为三个新颖任务提供了基准：功能分割、任务驱动的可供性定位和三维运动估计。在分割方面，Mask3D-F优于SoftGroup-F和LERF，但所有方法在非常小的交互元素上均表现不佳，除非采用由粗到细的课程训练方法。在可供性定位中，OpenMask3D-F通过利用细粒度掩码提议，显著超越了LERF；而运动估计受益于结合表面法线信息。

室内场景中功能交互元素的可供性分类定义了七种交互类别，每种以特定的手或脚部运动和接触类型为特征。这些标签根据人们与元素互动的动作来区分推、拉、旋转和按压等操作，例如使用指尖、钩住手指、捏住或用脚。拉动动作分为hook_pull（钩指拉，如冰箱把手）和pinch_pull（捏拉，如抽屉旋钮），以捕捉不同的抓握类型。rotate和hook_turn都涉及转动，但rotate适用于旋转式旋钮，而hook_turn则是在类似门把手的杠杆表面上使用钩指。专门的foot_push标签涵盖脚操作的踏板，例如垃圾桶踏板，以补充手部交互。

在评估的方法中，Mask3D-F获得了最佳的整体分割性能，在所有AP阈值上均大幅超越开放词汇的LERF模型和经过适配的SoftGroup-F。结果表明，针对细粒度功能元素采用基于区域的损失来定制实例分割方法，相比零样本语言驱动方法能取得显著改进。Mask3D-F取得了最高的AP，比LERF高出超过60%，并使SoftGroup-F的AP翻倍有余。LERF的零样本语言嵌入产生了尚可的分数，但明显低于微调后的Mask3D-F，特别是在严格的IoU阈值下。

OpenMask3D-F在任务驱动的可供性定位中取得了最高分数，达到8.0 AP50和17.5 AP25，显著超越LERF。依赖物体级掩码的原始OpenMask3D在这两个指标上均为零分，表明细粒度的功能元素掩码对于识别任务的执行方式至关重要。这些结果突显了分割粒度对语言引导的功能元素检索的重要性。OpenMask3D-F在AP50（8.0 vs 4.9）和AP25（17.5 vs 11.1）上均超越LERF，确立了明显的量化优势。原始OpenMask3D由于物体级掩码提议无法捕获按钮和把手等功能元素，导致AP50和AP25均为0.0。

调整OpenMask3D-F中的裁剪扩展比例对任务驱动的可供性定位有明显影响。最小的比例（0.1）在两个指标上得分最低，而适中的比例（0.5–1.0）能显著提升性能。超过1.0后，AP_25下降，表明过大的扩展损害了定位精度，对AP_50也无额外益处。扩展比例从0.1增加到0.5，使AP_50从4.5上升到8.3，几乎翻倍。最佳AP_25（17.5）在比例为1.0时获得，但扩展到2.0会使AP_25降至16.5。

在RGB输入中增加估计的表面法线信息，有助于模型更准确地预测每个实例的运动参数，这体现在运动类型、轴和原点的精度上均有一定提升。整体实例分割性能（AP25）基本保持不变，表明该几何线索专门有助于运动推理，而不会影响掩码质量。包含法线改善了所有运动参数指标：+M（运动类型）、+MA（类型与轴）和+MAO（类型、轴与原点）相较于仅使用RGB的版本均略有提升。实例分割的AP25基本持平（26.6 vs 26.5），说明增加的法线信息在改善运动估计的同时并未降低掩码预测质量。

实验设置分析了室内场景中细粒度功能元素的实例分割、任务驱动的可供性定位和运动预测。结果表明，采用基于区域损失定制的方法显著优于零样本语言驱动模型，而功能元素级别的分割粒度对于成功的可供性检索至关重要，因为物体级掩码完全失效。添加表面法线线索在改善运动参数估计的同时保持了掩码质量，而适度的上下文扩展则能获得最佳的定位精度。