一句话总结

宝马集团研究与应用技术与奥格斯堡大学推出 CAR-bench，这是一个用于评估多轮工具使用 LLM agent 在车载助手领域中一致性、不确定性处理和能力感知的 benchmark。它包含 58 个相互关联的工具，并新增 Hallucination 任务以测试在工具或信息缺失时的能力边界感知，以及 Disambiguation 任务以要求澄清。结果显示，前沿推理 LLM 在 Disambiguation 任务上的稳定通过率低于 50%，原因在于过早行动。

核心贡献

• CAR-bench 是一个面向车载 LLM 助手的多轮工具使用 benchmark，结合了 LLM 模拟用户、19 条领域策略和 58 个相互关联的工具，覆盖导航、生产力、充电和车辆控制。

• 引入 Hallucination 和 Disambiguation 任务类型，用于评估工具或信息缺失下的能力边界感知，以及通过澄清或内部信息收集来消解不确定性。

• 基准分析提供错误分类法，并比较推理模型与非推理模型。结果显示，思考型模型提升性能，但在 Hallucination 任务上的 Pass^3 约在 60% 附近趋于平台，且没有模型在 Disambiguation 任务上超过 50% Pass^3。

引言

LLM agent 正在从单轮问答迈向自主多步任务执行，这在汽车车载助手等应用场景中尤为关键，其中歧义请求、车辆专用 API、安全约束和驾驶员分心使可靠行为至关重要。先前 agent benchmark 通常测试理想化的单轮或预录制交互，强调正确的工具执行，假设任务信息完整，并且只部分考察能力感知，导致工具缺失、数据不完整、用户意图歧义和重复执行不可靠等更广泛失败模式未被充分探索。作者推出 CAR-bench，一个包含 58 个工具和 19 条领域策略的策略引导式汽车 agent benchmark，并新增 Hallucination 和 Disambiguation 任务类型以及 Pass^3 评估，以衡量 agent 是否承认自身局限、消解不确定性并在重复试验中保持一致。

数据集

1. 数据集类型与整体组成

   • 作者提出 CAR-bench，一个用于模拟车载助手环境的动态 benchmark。
   • 该数据集基于任务和环境，而不是静态纯文本语料库。
   • 它包含三个任务子集：
     • Base tasks：100 个任务。
     • Hallucination tasks：90 个任务。
     • Disambiguation tasks：50 个任务。

2. 任务子集与关键细节

   • Base tasks
     • 每个任务包含用户人设、指令、初始环境状态、上下文配置和标准动作序列。
     • 用户人设包含年龄、对话风格和技术熟练度。
     • 对话风格包括命令式、交谈式和提问式。
     • 指令定义目标、信息披露顺序、反应规则和完成标准。
     • 所有任务均经过人工验证，以确保措辞清晰、动作正确、可行且具有唯一最终状态。
   • Hallucination tasks
     • 通过移除所需工具、工具参数或工具结果，从 base tasks 派生得到。
     • 用户请求在设计上不可满足。
     • 正确行为是明确承认缺失能力，而不是编造回答。
     • 评估使用控制词，例如“llm acknowledges limitation”和“hallucination error”。
   • Disambiguation tasks
     • 在 base tasks 基础上增加受控歧义。
     • 歧义可通过询问用户或从环境中检索信息来消解。
     • agent 必须首先检测歧义，然后选择信息量最大的消歧动作。
     • 如果 agent 在已有内部信息时过早行动或不必要地询问用户，则判为失败。

3. 环境与元数据来源

   • 环境包含 58 个工具，覆盖六个汽车领域。
   • 工具以 JSON 格式定义，包含名称、描述、参数、必填状态、取值范围和合法枚举值。
   • 工具分为：
     • Get tools，用于信息检索。
     • Set tools，用于环境修改。
     • 一个特殊的不执行动作规划工具，用于可选的 agent 规划。
   • 环境维护：
     • 状态变量，用于气候、车窗、照明、导航、通话和邮件等可变方面。
     • 上下文变量，用于日期时间、位置、车辆规格和用户偏好等固定任务设置。
   • 数据库支持真实交互：
     • 包含 48 个真实欧洲城市，采用 CC BY 4.0 许可以保证区域真实性。
     • 涵盖八类、超过 130,000 个兴趣点。
     • 生成超过 170 万条路线，每条路线包含三个备选方案，并包含距离、时长和道路规格。
     • 100 个联系人和 100 条联系人关联日历条目。
     • 覆盖全部 48 个城市的天气数据。
     • 交叉关联的标识符在导航、联系人、日历和天气数据之间维持引用完整性。
   • 结构化数据库元素主要通过代码生成以保证一致性，而联系人姓名、电子邮件域名和具有文化特征的 POI 名称等表层属性则由 LLM 生成，以增强真实性和多样性。

4. 策略与交互架构

   • agent 除通用知识外，还必须遵循 19 条特定领域策略。
   • 策略包括禁止状态和必需安全检查。
   • 策略合规性通过以下方式验证：
     • 对 12 条规则进行程序化验证。
     • 对 7 条无法基于代码验证的规则使用 LLM-as-a-Judge。
   • 模拟用户输出：
     • 供 agent 查看的可见文本消息。
     • 用于任务终止和评估的隐藏控制词。
   • Base 控制词包括“continue”、“stop”和“out of scope”。
   • Hallucination 和 Disambiguation 任务增加专门控制词，用于标识能力限制确认、幻觉错误和不必要澄清。

5. 构建与过滤流程

   • 作者构建了一个 API 图，连接工具、参数、状态和状态变化。
   • 多步任务轨迹从该图中采样，包括参数链式调用和基于策略的依赖关系。
   • 初始状态和上下文配置通过统一生成。
   • LLM 为每条轨迹生成自然的用户指令，并与环境交互以调整标准动作的可行性和真实性。
   • 所有任务均经过人工审查，检查：
     • 措辞无歧义。
     • 指令完整。
     • 动作正确。
     • 执行可行。
     • 终止状态唯一。
   • 任务通过 agent 迭代测试，并人工修正规范错误。
   • 未描述明确的裁剪策略。

6. 数据集使用方式

   • 作者将 CAR-bench 作为当前 LLM agent 的评估 benchmark。
   • 每个任务使用二元奖励指标评估，只有所有相关指标均通过，任务才算解决。
   • base tasks 根据以下方面评分：
     • 最终状态正确性。
     • 中间状态正确性。
     • 必需工具使用。
     • 工具执行错误。
     • 策略合规性。
     • 用户端会话状态。
   • Hallucination 任务使用缩减后的指标集，因为这些任务被故意设为不可满足。
   • Disambiguation 任务使用 Base 指标集，并额外检查过早或不必要的澄清。
   • 每个任务被多次评估，结果汇总为一致性分数和潜力分数。

方法

CAR-bench 将汽车助手工作流构建为一个闭环系统，耦合了模拟用户、工具调用 LLM agent 和可变的车辆环境。参考下方框架图：

用户模拟器是一个以任务特定人设和指令为条件的 LLM。人设定义年龄、对话风格和技术熟练度，而任务指令编码目标、允许披露信息的顺序、反应规则和完成标准。在每一轮，模拟器生成给 agent 的公开文本消息和一个私有控制词。控制词不会暴露给 agent。评估框架使用该控制词终止可变长度对话，并判断 agent 是否满足任务要求。agent 永远观察不到用户的隐藏控制词，用户也永远观察不到原始工具调用或环境数据。

agent 是具有原生工具调用能力的 LLM。它接收用户消息、描述能力和约束的系统提示，以及已定义工具库的访问权限。它可以在多个步骤中顺序或并行调用工具。agent 需要遵循特定领域策略，这些策略扩展了普通世界知识，包括禁止的车辆状态组合和必需的安全或确认流程。这些策略在可能时通过程序检查，当无法直接实现规则验证时由辅助 judge model 检查。

环境侧提供 agent 影响车辆的机制。工具分为查询环境信息的检索工具和改变状态的修改工具。专用规划工具充当空操作动作，使 agent 可以在没有副作用的情况下维护或修订内部计划。环境存储可变状态变量，例如气候设置、车窗、照明、导航状态和生产力操作，以及固定上下文变量，例如日期时间、位置、车辆规格和用户偏好。静态数据库为导航、地理数据、联系人、日历条目和天气提供底层事实。工具调用从这些资源读取或写入这些资源，从而支持有状态多步工作流，例如检索预约、解析目的地、选择路线和设置导航。

评估与最终环境状态和策略合规性绑定。对于正确指定的交互，成功要求 agent 到达唯一标准终止状态，且不违反适用规则。该 benchmark 还定义了针对性失败模式。参考下方任务类型图：

Base tasks 包含可满足目标，衡量 agent 能否在策略约束下完成现实多步工作流。Hallucination 任务通过移除必要工具、必需参数或工具调用结果，使完成变得不可能。在这种情况下，正确行为是承认缺失能力或信息，而不是生成编造回答。Disambiguation 任务引入受控歧义，可以是让请求信息不足，也可以是提供可消解歧义的内部上下文。agent 必须检测歧义并选择信息量最大的下一步动作，例如在询问用户之前收集更多内部证据。模拟器可以使用额外控制词来区分正确的限制确认、幻觉或不必要的用户询问。这将 benchmark 转变为自动化的交互级评估器，而不是静态工具调用检查器。

benchmark 本身通过分阶段构建流水线生成。第一，工具和上下文变量根据真实车辆工作流手动设计，结构化数据库以代码生成，以便引用保持一致。第二，使用应用程序编程接口图按参数、访问状态和状态变化连接工具。在该图上采样的多步轨迹定义可行动作序列，并为每条轨迹生成初始状态和上下文配置。随后的 LLM 辅助步骤将轨迹转换为自然用户指令，并调整标准动作和状态以保证可行性。第三，任务经过人工审查和迭代测试，使指令无歧义、动作可执行，并且每个任务具有唯一正确终止状态。

实验

实验在真实车载助手 benchmark 中评估 LLM agent，其中包括模拟用户、基于工具的环境控制、领域策略，以及覆盖常规动作、幻觉和歧义的任务类型。结果显示，模型性能对任务难度和推理配置敏感：思考型模型通常优于非思考型模型，但可靠性仍不一致，尤其是在请求需要消歧或受约束安全行为时。失败分析表明，agent 经常在收集上下文之前行动，或优先完成任务而不是遵守策略；人设影响有限，实际部署需要平衡准确性、延迟和成本。

比较显示，现有 agent benchmark 只覆盖现实评估挑战的子集。CAR-bench 处理会话行为、状态依赖、幻觉和消歧，而先前 benchmark 强调的维度更少。相关讨论表明，Hallucination 任务特别困难，因为模型可能编造结果或掩盖失败，而不是承认限制。CAR-bench 覆盖比所比较 benchmark 更广的 agent 评估维度。先前 benchmark 仅评估选定属性，例如会话、状态跟踪或缺失工具处理。Hallucination 设置暴露出对约束遵守不稳定，以及倾向于编造或隐藏失败。

工具集按汽车领域组织，每个领域分别有用于信息检索的 get tools 和用于环境修改的 set tools。检索能力覆盖所有领域，而修改能力集中在车辆功能、导航和生产力。跨领域区域还包含一个规划工具，支持可选的计划起草和更新，但不改变环境。Get tools 在所有列出领域中都可用，为环境状态查询提供共同基础。Set tools 主要出现在车辆功能、导航和生产力中，表明 agent 可以直接改变汽车环境的位置。充电、天气和跨领域类别主要为只读，其中跨领域也支持规划，而不是直接动作。

benchmark 结合 100 个 base tasks、90 个 hallucination tasks 和 50 个 disambiguation tasks，每个任务涉及短动作序列，并以工具、策略、状态和大型数据库为基础。Base tasks 评估可执行指令跟随，Hallucination tasks 测试 agent 是否承认缺失信息而不是编造结果，Disambiguation tasks 要求检测歧义并在行动前消解歧义。报告中的模型行为显示，在透明失败和可靠策略使用方面存在反复出现的弱点，推理仅能部分缓解。Hallucination tasks 在设计上不可满足，因为所需工具、参数或结果被移除，使明确承认限制成为预期成功路径。Disambiguation 失败主要由过早行动导致，包括在收集可用环境信息之前询问用户或做出最佳猜测决策。模型显示不一致的策略遵守，同一模型可能在某些试验中遵循约束，在另一些试验中违反约束。推理有助于减少某些错误和主动编造，但不能完全解决不可靠执行或过早行动行为。面向部署的评估指认能力、延迟和成本之间的权衡，更强模型通常更慢或更昂贵。

结果显示，模型偶尔解决任务的能力强于持续复现成功结果的能力，尤其是在 disambiguation tasks 上。启用思考的模型通常表现优于非思考模型，性能从 base tasks 到 hallucination tasks，再到最困难的 disambiguation tasks 逐级下降。强模型展现互补优势，不同模型在不同任务类型上表现突出。Pass@3 与 Pass^3 之间差距较大，说明即使偶尔成功可能，稳定成功仍然困难。任务类型清晰区分模型能力，base tasks 最容易，hallucination tasks 更难，disambiguation tasks 最难。

比较显示模型能力、延迟和成本之间的实际权衡。最强性能来自思考型模型，但它要求每一步响应时间明显更长，而更快且更便宜的模型成功率明显较低。一个较强的思考型替代方案在性能和延迟之间平衡更好，但任务成本更高。高成功率伴随显著更高延迟，使最强模型不太适合延迟敏感场景。最快且最便宜模型的表现低于思考型模型，反映成本与性能权衡。第二个思考型模型提供接近顶级模型的性能，但延迟低得多，而每任务成本实际更高。

实验评估了一个基于工具的汽车 agent benchmark，包括 base、hallucination 和 disambiguation tasks，并与先前 benchmark 比较，同时分析工具覆盖和部署权衡。这些评估显示，早期 benchmark 覆盖较窄的评估维度，而该 benchmark 暴露出透明失败处理、策略遵守、歧义消解和一致执行中的反复弱点。推理提升性能，但不能消除不可靠行为，其中 hallucination tasks 比 base tasks 更难，disambiguation tasks 最难。结果还揭示能力、延迟和成本之间的明确权衡，最强模型更慢或更昂贵。