一句话总结

Writer, Inc. 展示，编排框架——即组装上下文、工具和治理的层次——是企业 agentic AI 中 token 经济学的决定性杠杆。在一项对照实验中，替换为其框架将每项任务的混合成本降低 41%，token 数降低 38%，同时保持质量不变，并揭示了与模型无关的效率增益，以及一个框架杠杆效应：质量提升与基线强度几乎完美相关（$r = 0.99$r=0.99）。

核心贡献

• 一项仅替换编排层、跨越六种基础模型和 22 个锁定任务的对照实验表明，Writer Agent Harness 将每项任务的混合成本降低 41%（$0.21 降至$0.21降至0.12），中位挂钟时间减少 44%（48 秒降至 27 秒），每项任务 token 数减少 38%（14.2k 降至 8.8k），而整体任务完成质量保持相当（0.78 对 0.81）。
• 论文识别出一种“框架杠杆”效应，即模型从框架中获取的质量提升与其基线强度几乎完美相关（r = 0.99，n = 6），因此更强的模型能从相同的编排增强中获得更多收益。
• 该工作在编排层面形式化了 token 经济，定义了 token 最大化，并在提示缓存的条件下引入有效输入价格模型，并详细介绍了六个驱动效率的机制系列（缓存形状规范、故障支出治理等），分析表明该框架能在组织运行的所有模型上成倍提升效率。

引言

Agentic 任务在多轮交互中展开，编排框架几乎控制了除模型自身输出之外的所有 token 消耗。业界的默认模式是“token 最大化”：不断下降的每 token 价格推动着越来越大的上下文窗口、历史重放和工具模式，以递减的边际回报来换取质量。之前的效率工作主要针对单次模型调用中的 token 削减（提示压缩、受限推理）或通过路由选择更便宜的模型，但均未涉及管理跨轮次成本（如对话重放、检索负载和故障重试）的框架层。作者通过正式分解编排层面的 token 经济，并通过对照替换实验（22 个锁定任务和六种模型，相同的提示、评分器和价格表，仅改变编排代码）来隔离框架的影响，从而解决了这一空白。由此产生的框架重新设计将 token 数削减了 38%，成本降低了 41%，延迟减少了 44%，且无质量损失，同时更强的模型能将框架结构转化为可衡量的能力收益。

方法

作者将 $k$k 轮 agent 循环的成本定义为： $C = \sum_{i=1}^k \left(p_{in} T_i^{in} + p_{out} T_i^{out}\right)$C=∑i=1k​(pin​Tiin​+pout​Tiout​) 输入 token $T_i^{in}$Tiin​ 分解为系统提示、历史记录、工具模式、检索内容和用户轮次。一个简单的框架会重放整个对话记录，导致总输入 token 数随轮次数量呈二次增长。

一个将历史记录压缩、缓存不变前缀、卸载庞大的工具输出并截断检索的框架，能将此二次项转化为近似线性。此外，由于 agent 工作负载是输入主导的，输入输出 token 比接近 100:1，有效输入价格受缓存命中率的影响极大。如果输入 token 中有 $h$h 的比例是缓存读取，并以乘数 $\kappa \approx 0.1$κ≈0.1 计费，则有效输入价格变为： $p_{in}^{eff} = p_{in}(1 - h(1 - \kappa))$pineff​=pin​(1−h(1−κ)) 因此，一个维持高缓存命中率的框架，对于成本方程中的主导项，仅需支付标价的大约十分之一。

Writer Agent Harness 充当应用程序与基础模型之间的运行时。它拥有上下文组装、工具层、工作流执行、委托以及通过跟踪薄层实现的可观测性。它用显式约定（如原生工具调用、非破坏性结构化压缩和子 agent 委托）取代了传统的 agent 循环，后者通常使用单体式提示和破坏性截断。

该框架通过六大机制系列重写成本账单，这些机制旨在最大化用于已确认工作的、可缓存且与决策相关的 token 支出。首先，缓存形状规范强制实施双区提示结构。

每个提示都包含一个字节稳定的前缀，其中包含完整的工具模式目录、稳定的系统提示和仅追加的持久记录，后跟一个每次轮次都会重建的易变尾部。这种分割确保提供商的断点固定在稳定前缀中，从而在主导输入项上实现约 99.9% 的缓存命中率。其次，结构化、增量、缓存感知的压缩在输入预算的 80% 处将较早的历史记录折叠为类型化检查点。最近消息的实时尾部逐字保留，并且摘要操作在付费循环之外使用更便宜的辅助模型运行。第三，上下文卸载机制使信息保持可用，而无需将其保留在上下文中。子 agent 充当上下文防火墙，返回有上限的摘要；技能使用渐进式披露；庞大的工具输出则溢出到文件。第四，零 token 等待和持久化允许运行在零 token 成本下持久挂起，以等待人工应答或后台作业。第五，故障支出治理在做出决策之前将故障分类为类型化类别，确保中途故障成为无副作用的已丢弃尝试。最后，模型无关的底层确保路由是作为数据提供的类型化计划，并且原生工具调用是以模式卫生为后盾的唯一调用路径。

这些优化在集群规模上复合叠加。

在每月一百万次 agent 任务的情况下，该框架与基线相比显著降低了混合成本，展示了跨模型可移植、与数量线性相关的节省，并能与其他优化叠加。

实验

一项在 22 个任务和六种模型上进行的配对替换实验，在保持提示、评分器和价格固定的情况下，隔离了用具备 token 经济意识的 agent 框架替换传统生产循环的效果。该框架将 token 强度降低了 38%，成本降低了 41%，同时保持质量相当，所有模型的成本节省一致，但质量提升集中在更强的模型上。编排层的 token 经济成为比模型选择更大的成本杠杆，研究结果提倡将每百万 token 的完成数作为关键绩效指标，以防止 token 最大化。

在广泛使用的 agent 系统中，token 经济很少是一等约定：大多数框架将缓存、压缩和委托留给应用程序处理，而单用户客户端或编排库均不提供每任务核算。Writer Harness 是唯一被调查的、同时具备模型可移植性、结构化缓存策略、压缩约定、防火墙委托、零 token 等待和每任务核算的系统，能够在多租户集群中将 token 成本与任务量对齐。这一设计实现了与体积线性相关的效率增益，并能与每 token 价格下降和路由优化叠加。Claude Code 和 Claude Cowork 是单用户、供应商锁定的客户端，缺乏每任务核算和零 token 等待机制。LangGraph、CrewAI 和 AutoGen 将提示缓存策略、压缩和委托留给应用层，且没有框架级的每任务度量。共享对话记录的多 agent 框架会成倍增加 token 消耗，已公布的测量结果显示其 token 数量约为聊天的 15 倍。Writer Harness 是唯一提供防火墙委托和每任务核算的系统，将 token 经济转化为可度量、可预算的界面。

实验在六种多样化的模型上评估了模型无关的框架——两种前沿模型、一种快速层级模型、两种开放权重模型和一种企业级模型——以测试可移植性。该框架实现了统一且决定性的效率增益，在质量相当的情况下将 token 消耗降低了 38%，其中 Palmyra X6 和 Sonnet 4.6 展现出最强的部署就绪度。质量差异仅为方向性，在给定小样本量下不具有统计显著性，因此可靠的标题是效率而非质量提升。该框架被证明是模型可移植的，在前沿、快速、开放权重和企业级共六种模型上工作方式完全相同。效率提升是统一且决定性的：在质量相当的情况下，token 数减少 38%，每百万 token 的完成数从 54.9 提升至 92.0。

该框架在保持任务完成质量相当的同时，实现了决定性的效率增益。token 消耗下降 38%，每项任务成本降低 41%，中位挂钟时间减少 44%，衍生指标显示每美元质量提升超过 80%，每百万 token 完成数增加近 70%。结果支持以效率主张为主导，而非质量，因为质量在统计上与基线无法区分。任务完成质量持平，仅 +0.03 的微小差异在当前样本量下可忽略不计。每项任务成本从 $0.21 决定性降至$0.21决定性降至0.12，token 使用量从 14.2k 降至 8.8k。每美元质量提升 82%，每百万 token 完成数增加 68%，使 token 效率 KPI 与行业趋势背向而行。每项任务的中位挂钟时间缩短 44%，改善了面向用户的延迟和每基础设施单元的吞吐量。人工评分的 UI/UX 定性改善，反映了更早的流式传输、实时的工具状态和干净的取消操作。

采用该框架降低了每种测试模型的每任务成本，无一例外，在来自五个供应商的六种模型上至少将成本削减了三分之一。编排层被证明是比模型选择更大的成本杠杆：从最昂贵的基线模型切换到最便宜的模型节省了 36%，而该框架在任何给定模型上节省了 33% 至 61%。最大的相对增益出现在速度最快、最便宜的模型上，其中开销占总成本的更大比例。每种模型的成本至少下降 33%，证实了并非与特定模型行为相关的统一效应。该框架带来的成本节省超过了选择最便宜模型而非最昂贵模型，使优化重点从模型选择转向编排。Gemini Flash 3.5 的降幅最大：成本降低 61%，延迟降低 55%，这与开销在其总账单中占比更大一致。各模型的延迟下降 33% 至 55%，提高了吞吐量并降低了重试成本。

子 agent 委托揭示了一个尖锐的能力底线：只有最强的两种模型达到可用的可靠性，Palmyra X6 为 0.86，Sonnet 4.6 为 0.85。评分在 Gemini 3.1 上降至 0.70，在 GLM 5.1 上降至 0.58，在快速层级模型上则低于 0.50，表明向较弱模型暴露此编排功能会导致失败而非正常运作。这一模式认为，对于能力底线以下的模型，应禁用委托或缩小其范围。委托任务完成得分仅在 Palmyra X6（0.86）和 Sonnet 4.6（0.85）上较高，快速层级模型得分在 0.42 至 0.45 之间。子 agent 功能表现出一个能力底线：低于某个模型强度，暴露它将严重降低可靠性，以至于应根据模型层级禁用或优雅降级。

评估在六种多样化模型上验证了 Writer Harness，测试了可移植性、效率和委托可靠性。该框架在质量相当的情况下，在 token 消耗、成本和延迟方面实现了统一且决定性的增益，证明编排比模型选择本身能带来更大的成本节省。子 agent 委托揭示了一个尖锐的能力底线，只有最强的模型能达到可用的可靠性，而较弱的模型则需要优雅降级。