Edward Y. Chang Ethan Y. Chang

摘要

大型语言模型在看似无害的修改下可能改变其输出结果，而这些修改在实际应用中却具有重要意义：当文档顺序被重新排列时，检索增强生成（RAG）的输出会发生翻转；微调过程会破坏预训练阶段所学得的不变性；辩论式或思维链（chain-of-thought）提示的推理路径具有路径依赖性；编译器融合或指令重排则会扰动决策边界附近的对数概率（logits）。这些缺陷违背了预期的不变性，破坏了持续集成流程，迫使团队在安全性与效率之间做出权衡。这些影响虽微小，却广泛分布于模型各层与位置，对上下文长度和评估顺序敏感，且通过重新训练或形式化验证进行修复成本高昂。为此，我们提出 WILSON——一种轻量级的后验诊断工具集，能够将对内部表征的简单循环与重排检查转化为系统级信号。WILSON 结合了基于 JVP（Jacobian-Vector Product）与 Hutchinson 探针计算的、无需显式求逆的曲率图（position- and layer-wise curvature map），以及在激活层面上的交换子（commutators）机制，用于识别顺序重排带来的风险。这些信号计算成本极低，对标准 Transformer 模型具有普适性，并可导出为阈值与 CSV 格式文件，供自动化调度系统使用。由此，WILSON 能够支持具体行动：防范 RAG 对顺序变化的敏感性，捕捉微调过程中的性能退化，稳定辩论式推理路径与长轮次多轮对话的上下文一致性，并在部署阶段对融合操作或指令重排进行安全门控。简言之，WILSON 有助于提前预测模型失效，批准安全的优化策略，从而在不修改模型架构或训练流程的前提下，同步提升系统的可靠性与吞吐量。