一句话总结

Google DeepMind 的研究人员提出一个由概念严谨性、认识论严谨性和操作严谨性构成的三部分框架，用以分析人工智能的发展轨迹；他们认为，现代深度学习中操作严谨性占据主导地位，既解释了其快速进步，也说明了持续存在的不确定性，同时阐明了将 AI 转化为成熟科学和可靠技术所面临的挑战。

核心贡献

• 论文引入了一个由概念严谨性、认识论严谨性和操作严谨性组成的三部分框架，系统性地分析 AI 发展中的张力与模糊性。
• 运用该框架的分析表明，现代深度学习由操作严谨性（性能驱动的迭代）所主导，这揭示了该领域在快速技术进步的同时，科学理解却相对有限。
• 该框架随后被用来勾勒 AI 走向成熟的具体要求，包括细化 AGI 和 alignment 等关键概念的定义，建立更具预测性和可解释性的理论基础，以及构建能够可靠抵御故障和对抗性威胁的鲁棒系统。

引言

AI 研究取得了令人瞩目的实证进步，然而其进展往往与对所构建系统的清晰科学理解相脱节。智能、理解等核心概念依然模糊，这加剧了对能力的矛盾评估，并阻碍了累积进步。与此同时，现代深度学习严重依赖基准驱动的优化，操作上的成功常常替代了坚实的理论基础。作者引入了一个框架，将严谨性分解为三个相互作用的维度：概念严谨性（澄清塑造该领域的术语和范式）、认识论严谨性（生成和验证知识的规范，包括可复现性、可预测性和可解释性）以及操作严谨性（确保系统在实践中可靠运行的工程实践）。通过分析这些严谨性形式在 AI 不同范式中的演变，该框架解释了为何技术能力领先于科学理解，并揭示了追求通用智能以及对齐日益强大系统所带来的独特挑战。

方法

为提升大型语言模型（LLM）的可靠性与安全性，作者勾勒了一个分层操作流水线，超越了孤立的模型性能。第一种策略是用外部工具增强 LLM，将其转变为自然语言接口，把子任务委派给专门系统。通过这样做，模型继承了所调用工具的可靠性，将正确性的负担从内部计算转移到恰当的工具编排上。另一条工作路线则通过提示工程、扩展计算和自我批评机制，激发预训练模型中已有的潜在能力。详细的系统提示通常在部署时预先添加，以在交互过程中提供持久的行为指导，即使在模型内部运作未完全理解的情况下，也能提供一定程度的控制。

一种互补的方法则通过后训练直接塑造模型行为。在初始的下一个 token 预测预训练之后，LLM 会经历指令微调和基于人类反馈的强化学习（RLHF）。这些阶段将模型精炼成一个能够可靠地遵循用户请求，同时强化人类评估者偏好行为的系统。这里的操作严谨性依赖于仔细的数据集构建和奖励设计：多样化的任务分布和精细指定的偏好标准，决定了模型如何在无害性和遵从用户意图等竞争目标之间取得平衡。尽管有这些保障措施，当前系统仍存在幻觉、指令遵循失败、对抗性脆弱性和数据投毒等风险。形式化验证方法被探索为一种潜在的补救措施，旨在为安全约束的满足寻求数学保证，但这些方法仍难以扩展到现代架构，或仅限于能够精确指定正确性条件的环境。

与此同时，作者审视了可解释性的方法论路径，这对认识论严谨性至关重要。尽管深度学习缺乏将现象分解为不同分析层次的系统性框架，但它借鉴了经典统计学习理论、逼近理论和优化理论中的部分解释性框架。例如，PAC 学习界有助于解释为什么神经网络通常能随着数据增多而更好地泛化，而基于梯度的算法的收敛性结果则推动了它们在复杂、非凸目标上的应用。关于双下降、隐式正则化以及过参数化对损失景观影响等现象的持续研究，为那些违背经典直觉的行为（如更大模型泛化能力更好）提供了洞见。

更具雄心的解释目标是机制可解释性，它旨在将神经网络内部组件及其交互映射到它们所实现的功能上。这样的功能性分解将能实现更新知识、引导模型行为和诊断故障等干预。然而，获得可靠解释面临显著的不确定性：多种看似合理的解释可能说明同一行为，且往往是事后提出的。此外，神经网络高度分布式的计算可能缺乏任何简洁、人类可理解的描述，这引发了根本性问题：传统的解释标准是否还能继续成为认识论严谨性的核心。这些解释努力与操作流水线一起，构成了构建更严谨 AI 系统的核心方法论框架。

实验

评估设置考察了作为性能代理和优化目标的基准，以及包括工具增强、提示工程和后训练在内的可靠性方法。基准因训练数据污染、捷径学习和指标利用而被削弱，而可靠性措施则受限于持续存在的幻觉、对抗性脆弱性以及形式化验证难以扩展的困难。总的来说，这些发现表明，AI 中的评估正越来越多地被用于驱动改进，但当前的控制技术并未跟上快速提升的模型能力。