Command Palette
Search for a command to run...
逐流治理:高损失领域中绕过内容判断的 AI 输出管控
逐流治理:高损失领域中绕过内容判断的 AI 输出管控
Hiroki Naito
摘要
此前研究表明,在高损失领域中,当 AI 输出速度 V 超过人类认知容量 C_max 时,人机协同监督在结构上变得不可行。然而,起作用的约束条件并非仅是 V,而是 V × L,其中 L 表示单条信息的认知负荷。L 由分流、判断和响应构成,这三者对 AI 能力提升的响应并不对称。分流成本不会随着模型能力的增强而下降,因为语义不确定性是通用设计的内在属性。响应成本对准确性的提升保持不变。只有判断成本面临下行压力,而这种压力往往通过诱发遗漏而非真正降低来实现。因此,能力提升实际上重构了 L,而非减少它。基于评估 AI 输出是否正确而建立的治理机制,要么将评估委托给 AI 并继承幻觉风险,要么将其委托给人类并面临 V × L 的上限。我们提出“逐流治理”(Flow-by-Flow)范式,一种无需评估内容即可控制监督负荷的治理模式。基于形式化、可计数特征计算的认知成本分数,对高产量生产施加非线性成本,同时通过机构容量上限将处理量保持在 C_max 以内。我们为任何绕过内容判断的超限路径推导出四项设计不变量:不进行内容判断、不消耗可扩展的审查者容量、与应用绑定的身份摩擦,以及无批量放行。我们讨论了一个参考实现,以证明这些不变量可以同时满足,同时明确承认其实际困难。一项涵盖 1000 次参数抽取的说明性蒙特卡洛分析表明,在 90.8% 的试验中,复合多指标流量控制优于单纯的监督强化。
一句话总结
来自UTIE研究所和UTIE仪器公司的研究者提出Flow-by-Flow,一种面向高损失领域的内容判断旁路治理范式,该范式基于形式化、可计数的特征施加认知成本评分,并设置制度容量上限,在无需评估输出的情况下将监督负荷维持在Cmax以内,在1000次参数抽样的蒙特卡洛试验中,该方法在90.8%的试验中优于单独加强监督。
核心贡献
- Flow-by-Flow通过基于形式化可计数特征施加认知成本评分,并设置制度容量上限,将处理量控制在人类认知极限内,从而在不评估内容的情况下控制监督负荷。
- 本文推导出任何内容判断旁路超限路径必须满足的四项设计不变量:无实质性内容判断、不消耗审查人员可扩展能力、每次申请绑定身份的摩擦、无批量清理。
- 对1000次参数抽样的蒙特卡洛分析表明,复合多指标流量控制在90.8%的试验中优于单独加强监督。
引言
作者观察到,当前AI治理框架(包括欧盟AI法案和美国NIST框架)都建立在人类监督能够确保生成式AI系统安全的假设之上,即使输出量不断增长。然而,数十年来关于自动化偏见和正常事故的研究表明,人类操作员并不适合监控高度自动化系统,而在生成式AI中,问题更加严重:错误表现为微妙的语义或逻辑缺陷,而非物理偏差,且接触统计上规律的AI输出会削弱监督者内部的错误检测框架。Naito(2026)先前的工作形式化了一个条件:当输出速率V超过认知容量C_max时,人类监督将变得有名无实,但该模型将所有输出视为同等负担,且仅为制度响应提供了大致方向,未能架起从诊断到可实施设计的桥梁。
作者的主要贡献是理论上的细化,将模型扩展为V × L,其中L代表每项输出的验证和响应认知负荷,并提出了“Flow-by-Flow”制度设计。该设计在不评估输出真实性或内容的情况下强制执行流量限制,而是通过可计数的形式化特征(如引用次数、模态数或词长)推断认知成本。本文推导出任何在高损失领域(错误严重且无法形式验证)中必须满足的内容判断旁路机制的四项不变量,并通过仿真证明,限制总吞吐量的策略比为单纯增加人类监督者赢得更多时间,以避免监督崩溃。
方法
作者将其方法建立在对早期监控约束V≤Cmax的理论扩展之上。他们指出,原始变量V(代表AI输出速率,作为简单计数)抽象掉了监督者必须承担的每项认知负担。对专利申请、法律文件或学术论文的实际审查显示,每项输出施加的负荷差异巨大。因此,相关量并不是V单独,而是乘积V×L,其中L是每项输出的认知负荷。人类认知能力上限改写为单位时间内的Cmax,基本不等式变为
V×L≤Cmax.变量L被分解为三个不可简化的任务:分流(判断输出代表何种信息类型)、判断(在该假设下评估正确性或有效性)和响应(根据评估采取行动)。关键的是,分流和响应不会随着AI准确性的提高而减少。事实上,更高的准确性可能增加必须执行的响应量,并使分流更加困难,因为来自高能力模型的输出看起来更可信,需要更精细的区分。因此,仅靠改善内容判断无法确保满足吞吐量约束。
Flow-by-Flow框架的引入旨在不依赖内容判断的情况下强制执行该不等式。它不试图评估每个输出的真实性或质量,而是控制流速,使得呈现给人类监督者的总认知负荷保持在他们的生物极限内。该设计基于一个原则:实施一种不对称激励结构,使AI驱动的大规模生产成本高昂,同时使AI驱动的简洁性成本低廉。所有组件都源于这一原则。
第一个组件是认知成本评分,一个自动计算的数量,衡量提交材料的形式化、可量化特征。对于专利申请,这些特征可能包括权利要求数量、说明书的词数、引用数量;对于学术论文,可能是词数、参考文献数量、附图数量和补充材料量。这些特征首先通过除以领域特定中位数实现无量纲化,然后组合成一个乘积:
S=i=1∏Nmedian(fi)fi.该评分是多个相互约束特征的乘积。由于每个特征都与提交内容相关,压缩一个维度(例如,减少权利要求数量)会迫使负担转移到另一个维度(例如,每个权利要求更长的描述)。该评分不需要精确代表L;其功能是将规避性优化从一个一维问题转化为多维约束满足问题。机构可以随着处理时间数据的积累添加新特征或重新校准权重,而无需评估输出的语义内容。
第二个组件是制度容量上限,它明确指出了人类一方的有限处理能力。年可处理负荷计算为
annual load=(number of examiners)×Cmax×(annual working hours).认知成本评分落在上限范围内的申请将直接进入人类审查。那些超过上限的申请不会被拒绝,而是被路由到一个超限路径,该路径施加一种有界、绑定身份的每次申请摩擦。因此,上限为提交者创造了一个自然激励,使其申请简洁易懂,因为只有有限数量的处理名额。
整体架构是两层结构。第一层完全自动化,仅执行基于计数的形式特征测量,以计算认知成本评分。该层不包含任何内容判断,因此避免了若要求AI评估语义质量可能产生的幻觉风险。第二层是人工的:只有保持在制度容量上限内的提交材料才由人类专家审查。由于流速受到控制,人类工作量保证维持在Cmax以内,从而保持了审查人员的有效认知能力(Ceff)。
作者分析了仅依赖第一阶段控制措施(如了解客户身份验证和每位行为者提交数量限制)的局限性。在一个仅第一阶段控制的机构中,一旦提交数量被限制,理性的申请人使用AI会将优化压力转向增加每项输出的信息密度。这可能导致L上升,即使V固定,V×L仍可能超过Cmax。因此,第二阶段(带有超限机制的认知成本评分)对于防止这种上限内的升级是必要的。
通过一个申请人行为玩具模型,论证了选择复合指标的理由。在单一指标限制下,大语言模型(LLMs)可以轻易找到规避策略,例如在保留权利要求的同时压缩文本。但是,对于N个特征的乘积,申请人必须同时满足多个约束。由于这些特征根植于内容本身,实质性的权衡(例如,减少权利要求时缩小保护范围)无法通过LLM能力的提升来消除。机构可以以低成本增加N,提高规避的计算和经济负担。
对于超过认知成本评分阈值的申请,作者提出了超限路径的一个参考实现:物理等待路径。申请人必须前往指定的KYC启用办公室,验证身份,并等待一段时间,等待时间与评分超出上限的幅度成正比。等待时间为T×k(其中T是基线,k是阈值乘数)。等待后发放一个16位提交通行码,使申请得以被接受,尽管超限。该机制满足任何绕过内容判断的流量控制机制所必需的四项设计不变量:
- 无实质性内容判断——该路径不评估输出质量。
- 不消耗审查人员可扩展能力——身份验证由服务台工作人员处理,而非领域专家。
- 绑定身份的每次申请摩擦——每次等待事件通过护照核查与验证身份绑定。
- 无批量清理——每次申请都需要单独的等待实例和唯一的通行码。
物理等待路径将数字大规模生产的边际成本结构转变为物理存在的边际成本结构。单个用户可以通过API调用以接近零的边际成本生成数千个输出,但一千个超限申请需要一千次单独的等待事件。作者指出,物理等待路径是一种参考设计;任何满足全部四项不变量的机制都可以发挥相同作用,文中还讨论了如远程身份验证时间锁通行证等替代方案,以提高可及性。
该框架还用处理时间声明要求取代了传统的AI使用披露要求。不是询问是否使用了AI(一个无法验证的是/否问题),而是提交者声明工作流程每个阶段(如文献回顾、写作、实验)所花费的实时小时数。这些声明为统计验证提供了渠道:一篇声称文献回顾仅用三小时却引用200篇参考文献的论文意味着阅读速度快得不合理,这种不一致无需外部身份检查即可被标记。处理时间声明不用于确定认知成本评分;它们作为独立的校准数据来源,并有助于量化B变量,该变量衡量领域工作流程在物理空间活动中的锚定程度,从而抵抗AI驱动的加速。
认知成本评分、制度容量上限和超限路径共同构成了一个流量控制系统,该系统不试图判断AI输出的真伪。它通过确保审查人员所审查材料的数量和复杂性永远不会超过其认知极限,系统地安排了人类监督者能够行使质量判断的条件。
实验
仅第一阶段控制机构的分析表明,即使有身份验证和提交上限,AI用户可以廉价地提升每项信息密度,导致总认知负荷超过处理能力。蒙特卡洛仿真评估了三种策略在广泛参数不确定性下的稳健性,发现复合流量控制始终优于单独监督增强,即使给出了极其有利的初始条件。该实验并不预测确切的崩溃时间,而是验证了流量控制的相对优势是稳健的,支持将其作为应对多样化AI增长场景的弹性制度设计。
在1000次蒙特卡洛试验中,结合监督增强与复合流量的策略在90.8%的案例中表现最佳,远超单独监督增强(1.6%)和监督加简单流量(7.6%)。即使初始条件被刻意倾斜以利于监督增强,复合流量在广泛参数不确定性下仍是最稳健的方法。结果证实,这些策略的相对排序是稳定的,尽管系统崩溃的绝对时间取决于特定领域因素。复合流量在90.8%的试验中是最佳策略,尽管仿真有意偏向单独监督增强。性能排序——复合流量第一,简单流量其次,仅监督最末——在广泛的参数范围内保持一致,突显了基于流量的干预措施的韧性。
一项包含1000次试验的蒙特卡洛仿真在广泛参数不确定性下比较了三种策略,并有意将初始条件偏向单独监督增强。复合流量策略被证明最为稳健,在90.8%的试验中排名第一,一致的性能排序为复合流量,其次是简单流量,最后是仅监督。这些发现证实,即使仿真在设定上对它们不利,基于流量的干预措施仍保持其优势。