当你惊叹于大型语言模型的能力时，不妨回想一下这些模型实际上依赖的是数百年来的数学原理。牛顿发现的微积分方法为今天的反向传播奠定了基础，这一原理至今仍在指导着神经网络中每一个权重的调整。通过将他在烛光下的研究与现代闪耀的人工智能“大脑”相比较，我们不难发现，幻觉问题并不是现代技术的缺陷，而是这一基本方法的遗产。这些设计用来处理和生成类似人类文本的AI系统，虽然流畅得令人印象深刻，但却越来越被自己的机制所困扰。正如OpenAI在最新的o3和o4模型中发现的幻觉率上升问题一样，这可能正验证了许多AI怀疑者长期以来的预测：这种问题可能是Transformer架构本身的固有限制。 牛顿的微积分与现代AI之间的联系不仅仅是一个历史趣闻，它实际上揭示了AI技术的一个核心问题。反向传播算法依赖于梯度下降，这是一种在多维空间中寻找最优解的方法，类似于牛顿通过微小的变化来优化复杂函数的过程。然而，这种方法在面对高度复杂的语义和上下文时，可能会出现误导性的结果，即系统生成的内容在逻辑上或事实上有误，这就是所谓的“幻觉”现象。 近年来，大型语言模型的发展迅速，但幻觉问题也随之加剧。牛顿时代的微积分方法主要用于解决物理和工程中的连续问题，而现代的反向传播算法则应用于离散的数据处理，如文本和图像。尽管这两种方法在表面上看似不同，但它们都依赖于局部优化的概念。在处理大规模数据时，局部优化可能导致模型忽视全局一致性，从而产生错误的结果。 OpenAI的最新研究表明，幻觉问题不仅限于特定的模型或任务，而是广泛存在于各种基于Transformer架构的系统中。这些问题的根源在于模型在训练过程中过分依赖统计关联，而非真正的理解和推理能力。例如，当模型生成涉及具体事实或数据的回答时，常常会出现与现实不符的情况。尽管研究人员已经尝试通过增加数据量、改进训练方法和引入监督机制来减少幻觉，但收效甚微。 幻觉问题的普遍性引发了业内对Transformer架构的质疑。一些专家认为，仅靠技术上的小修小补可能无法根本解决问题，需要重新审视整个模型设计的基础。有人提出，未来的AI系统可能需要结合符号推理和深度学习，以实现更全面的理解和更高的可靠性。另一些人则主张探索新的计算框架，如量子计算或其他非传统计算方法，来克服现有的局限。 总之，尽管大型语言模型在许多领域取得了显著成就，但牛顿时代的数学原理仍然制约着这些系统的可靠性。解决幻觉问题不仅需要技术创新，还需要对AI的基本假设进行深入思考。