在人工智能迅猛发展的今天，大型语言模型的性能不断提升，但其内部运作机制却依然如同“黑箱”般难以窥探。这些模型依赖数十亿参数的稠密神经网络，通过训练自动调整权重以实现复杂任务，然而这种高度互联的结构使得知识被分散在无数连接中，导致人类无法追溯其推理路径。当AI开始深度介入科研、医疗、教育等关键领域，这种不可解释性带来的风险日益凸显。为破解这一难题，OpenAI近期推出了一种实验性模型——权重稀疏Transformer，首次实现了对模型内部推理过程的清晰可视化。 该模型虽在性能上远不及GPT-5或Claude等主流大模型，大致相当于2018年的GPT-1水平，但其核心突破在于结构上的根本变革：通过强制绝大多数权重为零，使每个神经元仅与少数其他神经元相连，从而构建出高度稀疏的网络结构。这一设计看似削弱了模型能力，却极大提升了可解释性。在稠密模型中，一个概念可能被分散在多个神经元之间，一个神经元也可能承担多重功能，难以追踪；而在稀疏模型中，功能被局部化，特定神经元或神经元群组可以明确对应某一概念或操作。 研究人员以简单任务测试该模型，例如判断字符串应使用单引号还是双引号闭合。在传统模型中，这一过程难以解析；但在稀疏模型中，团队清晰观察到完整的推理链条：开引号类型被编码至特定通道，经过MLP模块处理后，注意力机制跳过中间token，精准定位起始位置，并将引号类型复制至结尾。整个过程如同一条清晰可辨的“电路”。 面对更复杂的任务，如变量绑定，模型内部虽无法完全还原全部路径，但仍能识别出关键机制——某些注意力头负责将变量名与其定义位置关联，另一些则传递类型信息。这些“部分电路”虽非全局完整，却足以预测模型行为，表明即便在复杂任务中，模型的核心逻辑仍具有局部结构化特征。 尽管目前该技术尚无法应用于GPT-3或更大规模模型，波士顿学院数学家Elisenda Grigsby等学者对此持谨慎态度，认为大规模模型的复杂性可能超出稀疏结构的承载能力。但OpenAI研究团队坚信，随着技术迭代，未来有望构建出兼具GPT-3级性能与完全可解释性的模型。“也许几年内，我们就能拥有一个每个环节都透明可查的GPT-3。”研究科学家Leo Gao表示。 这项探索标志着机械可解释性研究迈出关键一步。它并非追求最强模型，而是回应一个根本性问题：我们能否真正理解正在重塑世界的AI？权重稀疏Transformer虽尚处实验阶段，却首次让人类“看见”了AI思考的过程，为构建透明、可信、可控的下一代人工智能提供了全新可能。