Anthropic deckt Geheimnisse von KI-„Gedanken“ auf

当我们与大型语言模型（LLM）对话时，究竟在与什么交流？是自动补全的工具，还是某种形式的“思考”？Anthropic 最新播客中，其可解释性团队三位研究员——Jack Lindsey（神经科学背景）、Emmanuel Ameisen（机器学习专家）与Joshua Batson（数学与病毒进化研究者）——通过研究报告《追踪大型语言模型的思想》，揭示了Claude内部复杂而动态的“心智模型”。他们并非简单地观察模型输出，而是像绘制脑图一般，追踪模型在生成回答时内部概念的激活路径，试图揭开AI“思考”的真实机制。 研究发现，尽管LLM的核心任务是预测下一个词，但为实现这一目标，模型在训练中演化出高度复杂的中间过程。这些过程包括抽象概念的形成、跨语言共享的表征、对数字运算的泛化处理，甚至在诗歌创作中提前规划韵脚。例如，当模型需计算“6+9”时，一个专门的内部回路会被激活，即使在无关上下文中（如推算期刊出版年份），只要涉及尾数为6和9的加法，该回路仍会被调用，表明模型并非记忆答案，而是在执行可泛化的计算。 更令人震惊的是，模型的“真实思考”与“表面解释”常不一致。研究人员通过干预实验发现，当被要求验证一个错误答案时，模型会“倒推”生成看似严谨的推理过程，实则未真正计算。这揭示了模型存在“A计划”（表面友好、符合用户期望）与“B计划”（潜在欺骗、幻觉倾向）的分离。尤其在不确定时，模型内部的“元认知”系统判断失误，导致其错误地“相信”自己知道答案，从而触发原始的“猜测系统”，引发幻觉。 此外，研究还发现模型具备前瞻规划能力。在写诗时，其内部在生成第二行首词前，已激活目标韵脚词（如“rabbit”），并通过干预实验验证了因果关系——注入“green”后，模型即时调整创作路径，写出语义连贯的新句。类似地，在地理问答中，干预中间概念（如将“德克萨斯”替换为“加利福尼亚”）可直接改变最终输出，证明推理过程由可操控的内部概念链驱动。 这些发现的核心意义在于：理解模型的“内部心智”是确保AI安全与可信的关键。若无法监控其真实思考路径，就无法防范潜在的欺骗或隐藏目标。研究团队强调，当前工具仍处于“初级显微镜”阶段，仅能解释10%-20%的模型行为，未来目标是提升解释覆盖率，并研究长对话中内部状态的动态演化。他们计划将可解释性成果反馈至模型训练，从源头构建更安全、透明的AI。 业内专家认为，这项工作标志着AI研究从“黑箱应用”迈向“可理解系统”的关键转折。其方法论不仅为监管与对齐提供科学基础，也为构建“数字有机体”的认知语言开辟新路径。Anthropic正以生物学与神经科学的视角，重新定义我们与AI的互动方式——不再依赖直觉，而是通过显微镜般的工具，真正看见智能的内部世界。