涌现 (Emergence) 在人工智能领域指的是一种现象，即通过简单的个体或规则相互作用而产生复杂的集体行为或结构。在人工智能中，这种 Emergence 可以指模型学习到的高级特征或行为，这些特征或行为不是直接由设计者规定的，而是通过模型自身的学习过程逐渐产生的。
例如，在神经网络中，每个神经元的简单计算与相邻神经元的连接形成了大规模的网络。当这些神经元和连接进行学习时，网络可以表现出超出单个神经元或连接能力的复杂行为，如图像分类、语音识别等。
Emergence 也可以指一些意想不到的效果或行为，这些效果可能是由于模型的复杂性而难以直接预测或理解的。例如，在强化学习中，智能体通过与环境的交互学习到的行为可能会展现出一些出乎意料的策略或行为，这些行为可能是 Emergent 的结果。大模型的涌现和幻觉是同一个原理。
涌现行为并不是大模型所独有的，实际上在许多领域都可以看到，例如物理学、进化生物学、经济学和动力系统。虽然没有跨领域使用的单一涌现定义，但所有定义都归结为相同的基本现象：系统的定量参数的微小变化会导致其定性行为发生巨大变化。这些系统的定性行为可以被视为不同的「制度」，其中「游戏规则」或决定行为的方程可能会有很大差异。
【1】https://www.assemblyai.com/blog/emergent-abilities-of-large-language-models