SWE-Serve揭示代码智能体本地测试与在线服务差距

近日，业界推出全新评测基准SWE-Serve，旨在量化评估人工智能代码代理在推理服务软件中的真实可靠性。该工具由SGLang团队参与研发，聚焦于填补本地单元测试与线上实际部署之间的验证鸿沟。基准从SGLang项目中提取83个合并请求，转化为涵盖模型接入、解码调度、缓存管理及API运行时等六大领域的53项可执行任务。评测严格在真实硬件环境中进行，并采用闭卷模式确保测试公正性。 核心数据显示，在包含在线请求处理的19项全链路任务中，同一批代码补丁在排除在线验证时通过率为69.4%，启用完整在线接口校验后骤降至45.9%，约三分之一补丁在本地测试通过后于实际服务加载阶段失败。评测指出，跨越多个运行时的复合型任务对代码代理构成严峻挑战，通过率显著低于单一领域任务。在对十一款主流大模型测试中，整体通过率在34.6%至75.5%之间波动，成本与耗时未与性能呈正相关，且无单一模型在所有工程场景下占优。 SWE-Serve已同步开源基准配置与验证环境。该工具首次将推理服务栈的端到端正确性纳入标准化评估，为人工智能代码生成工具的工业级部署提供了可量化的可靠性标尺，推动开发流程从基础功能验证向实际线上可用全面升级。