微软发布ThinkingBox：以数据库终态检验AI Agent可靠性

近日，微软与Hugging Face联合发布ThinkingBox及ThinkingBox-Bench基准测试平台，旨在重塑人工智能智能体能力评估标准。该平台摒弃传统的工具调用计数与文本生成评分，转而聚焦智能体在真实业务流中的终端后端状态与副作用。测试涵盖零售、车险、金融等507项有状态工作流，并将每项任务独立运行二十次，以严格检验模型的一致性表现。 研究覆盖十八款主流闭源与开源大模型，揭示出单次成功与稳定执行之间存在显著落差。数据显示，近八成失败案例源于工具调用逻辑断裂或状态更新失误，而非底层推理缺陷。团队同步引入成本与一致性双维分析模型，指出企业若追求高可靠部署，需接受更高的单任务算力成本。目前，ThinkingBox环境已通过OpenEnv接口在Hugging Face正式开源。该基准借助隔离沙箱与可执行状态断言机制，为开发者提供了一套可复现、可量化的评测体系，推动AI智能体从实验室演示向工业级稳定应用迈进。