一句话总结

来自 Meta 和杜克大学的研究人员提出 InteractiveWorld，这是第一个面向人类与 AI 助手交互的可验证闭环环境；与以机器人为中心的模拟器不同，在该环境中，助手引导人类 agent，环境执行动作。研究人员还提出 InteractiveBench，这是一个包含 120 个任务并具有基于状态奖励的动态基准。实验显示，包括 Claude Fable 5.1 在内的 12 个前沿 MLLM，在长时程 Guidance 和 Planning 任务上的成功率分别最高只有 20% 和 25%。

核心贡献

• 论文提出 InteractiveWorld，这是第一个可验证的以人为中心的闭环交互环境，构建于 Isaac Sim 之上，包含超过 8000 个物体和 50 个场景。在该环境中，助手的自然语言引导驱动人类 agent 的动作并更新第一人称视角，从而实现对人与助手协作的真实模拟。
• 论文提出 InteractiveBench，这是第一个面向第一人称 AI 助手的闭环动态基准，包含 120 个经人工审核的多轮任务，覆盖六个类别。助手输出会影响任务结果，成功与否由可验证的基于状态的奖励衡量。
• 对 12 个前沿 MLLM 的实验表明，当前模型仍远未成为可靠助手。最强模型 Claude Fable 5.1 在 41.7% 的任务上成功，而其他模型均不超过 33.3%；最佳的 Guidance 和 Planning 得分分别为 20.0% 和 25.0%。分析指出感知、记忆和沟通是主要瓶颈。

引言

运行在可穿戴设备上的第一人称 AI 助手共享用户的第一视角，并通过自然语言引导行动，多模态大模型（MLLM）的进步使这种方式能够实际地帮助人们完成实际任务。然而，评估一直受到高成本真实世界研究和静态基准的限制：在静态基准中，模型只能观看预先录制的视频而不能改变视频，因此无法测试闭环适应或组合式交互能力。作者提出 InteractiveWorld，这是一个构建于 Isaac Sim 之上、包含超过 8000 个物体和 50 个场景的可验证闭环环境。在该环境中，助手引导会改变模拟人类 agent 的动作以及由此产生的第一人称视角。作者还提出 InteractiveBench，这是一个包含 120 个经人工审核的多轮任务、覆盖六个类别并具有基于状态成功检查的基准。结果表明，前沿 MLLM 的成功率仍然最高只有 41.7%，在长时程引导和规划方面存在明显不足。

数据集

数据集组成与来源

• InteractiveBench 构建于 InteractiveWorld 之上，被描述为第一个面向第一人称 AI 助手的闭环交互基准。
• 它包含 120 个任务，覆盖六个类别：Guidance、Planning、Accessibility、Decision、Prevention 和 Finding。
• 所有任务均经过人工审核，并按三条规则进行过滤：任务针对真实的辅助需求；Assistant 必须利用第一人称信息进行多轮观察、记忆、推理或规划；结果必须能够通过定义的环境状态进行验证。

子集细节

• 该基准包含六个任务类别，但正文只报告了总共 120 个任务，而没有给出各类别的数量或单独的来源划分。
• 每个任务包含一个初始场景，包括场景布局、人类起始位置以及目标和干扰物体的位置/状态。
• 每个任务还定义了交互前预热，包含预定义的人类动作和开场上下文。
• 评分依赖预定义的核心状态，例如“the pizza is in the oven”或“the fridge is closed”；成功要求满足所有核心状态。

数据使用方式

• 目标模型充当 Assistant agent，辅助模型充当 Human agent。
• Human agent 可以访问有效命令并执行动作，但被要求遵循 Assistant 的引导。
• Assistant 使用第一人称视角和对话历史，可以保持沉默、提供引导或结束任务。
• 在闭环交互过程中，动作期间采样的关键帧会被添加到视觉输入中。
• 该基准用于评估而非训练。正文未描述训练集划分、混合比例、裁剪策略或额外元数据构建。

方法

作者提出 InteractiveWorld，这是一个以人为中心的交互环境，旨在模拟人类与 AI 助手之间的真实协作。为了应对从以机器人为中心的控制到自然语言引导的范式转变，系统分为三个不同的层次：物理层、人类动作层和语义层。

物理层作为基础 3D 环境，提供逼真的人体模型、多样的资产和物理引擎。作者利用 SMPL+H 模型表示全身和手部，并在头部放置相机以捕获第一人称视角。为确保稳定和确定性的执行，人体模型采用运动学方式驱动。系统还结合实时碰撞检测，以防止人体模型与环境之间发生严重交叉，自动纠正轻微碰撞或拒绝不安全动作。此外，该层支持丰富且可扩展的资产库，包括数千个可交互物体和多样的场景布局。

在该物理基础之上，人类动作层使人体模型能够自主执行高层日常动作。执行过程分为两个主要阶段。首先，系统通过识别可到达的站立位置并使用 A* 搜索规划安全路径以避开障碍物，从而实现碰撞感知的自动导航。其次，系统执行目标驱动的自适应操作，根据物体形状和功能部件调整人体姿态，并规划无碰撞的手臂轨迹。如果找不到可行轨迹，系统会自动重新规划站立位置。

语义层将自然语言引导连接到可执行的人类行为，使 AI 助手能够通过对话引导人类，而不是直接控制模拟器。作者定义了一个统一动作接口，包含 36 个可执行动作原语，覆盖导航、观察和操作。命令只指定动作和目标，然后这些内容被转换为人类动作层的目标。在交互过程中，系统形成连续的观察-引导-执行循环。助手根据人类第一人称视角提供自然语言引导，人类解释该引导以执行动作，模拟器更新环境状态。通过在交互过程中跟踪实际物体位置和状态，系统可以根据最终物体关系自动验证任务是否成功。

实验

评估在 InteractiveBench 上将 12 个前沿多模态模型作为助手，并使用固定的模拟人类 agent，评估任务成功率、效率、能力、失败模式以及对任务长度的敏感度。结果表明，闭环第一人称辅助远未解决：即使是最强模型也只能帮助完成不到一半的任务，感知和记忆错误、长时程跟踪和重新规划能力弱以及沟通不清晰是主要失败来源。与 oracle 助手相比，模型还会导致大量动作冗余，并且性能在较长任务上下降。消融实验显示，推理时记忆增强带来的改进好坏参半，而助手排名在不同人类 agent 之间保持相对稳定，尽管人类模型的选择会影响性能。

InteractiveBench 定义了六类第一人称辅助任务：Guidance、Planning、Accessibility、Decision、Prevention 和 Finding，每类都关联真实的多轮场景和可验证结果。评估显示，助手效率因类别不同差异很大；简单的记忆增强主要在 Prevention 和 Finding 上有帮助，但在其他方面效果参差不齐；性能还取决于人类 agent 模型。还会出现主动的信息寻求行为，助手会要求人类移动、检查或环顾四周以揭示缺失信息。该基准覆盖六个类别，分别强调逐步引导、约束下的规划、人类无视觉输入时的可访问性、决策支持、错误预防和基于记忆的查找。各类别的效率和可靠性不均衡：一个助手可能在 Prevention 上效率很高而在 Accessibility 上效率最低，另一个助手可能在 Finding 上达到 oracle 级效率但在 Guidance 上产生最高成本。

在六个被评估的任务类别中，目前没有任何多模态助手能完成大多数任务：最强模型的平均通过率不到一半，其他所有模型都保持在三分之一或以下。Decision 任务显示出相对较高的完成率和平均完成率，而 Guidance 和 Planning 任务始终较弱，通过率和部分目标完成率都低。这一模式支持以下发现：当前模型能够做出有效的一次性决策，但在较长交互中难以持续跟踪进展并重新规划。Decision 是大多数模型上最强的任务类别，而 Guidance 和 Planning 的通过率和平均完成率最低。平均完成率通常超过通过率，尤其是在 Accessibility 和 Planning 中，这表明即使任务未被完全解决，部分目标完成也很常见。所有模型都远低于经过验证的 oracle 辅助人类完全任务完成基线，最佳助手仍未能完成一半以上的任务。

在九项能力检查中，沟通是每个被评估模型最强的方面，而长时程记忆和主动性较弱且更不稳定。Claude Fable 5.1 获得最高的平均能力得分，但不同模型的相对优势有所不同。这些模式与更广泛的观察一致，即持续跟踪和重新规划仍然困难。沟通是所有模型得分最高的能力，而长时程记忆和主动性通常较低且变化更大。Claude Fable 5.1 在平均能力得分上领先，并且在长时程记忆和规划方面相对较强。GLM 5.3 Flash 在 OCR、知识和错误检测方面表现出显著优势，但其沟通得分在比较模型中最弱。

记忆增强在 Prevention 和 Finding 上一致地带来提升，但其收益在其他技能上不均衡，并且有两个模型在 Planning 上出现下降。人类 agent 配对结果显示助手排名稳定，Fable 5.1 领先，GPT-5.6 落后；当 Gemini 3.1 Pro 作为人类 agent 时，所有助手都获得最强的观测性能。记忆增强在全部三个模型上提升 Prevention 和 Finding，但有两个模型在 Planning 上下降，其他任务的变化因模型而异。Fable 5.1 是不同人类配对中最强的助手，GPT-5.6 是最弱的，并且当 Gemini 3.1 Pro 充当人类 agent 时，所有助手都取得最高的观测 MCR。简单的推理时记忆不足以实现可靠的长时程辅助，因为其收益集中在部分任务上。

InteractiveBench 使用多轮任务和人类 agent 配对，在六个第一人称辅助类别上评估多模态助手。实验表明，没有助手能完成大多数任务，性能因类别而异：Decision 支持最强，Guidance 和 Planning 最弱，部分完成很常见。能力检查表明沟通始终较强，而长时程记忆和主动性较弱；简单的记忆增强主要改善 Prevention 和 Finding，并不能提供可靠的长时程辅助。助手排名在不同人类 agent 之间保持稳定，但最强模型仍远低于 oracle 辅助的人类完成水平。