一句话总结

作者发展了一个随机矩阵理论框架，将训练于不相交数据子集的扩散模型的一致性归因于共享的高斯统计量，揭示了自洽的噪声重正化 $\sigma^2 \mapsto \kappa(\sigma^2)$σ2↦κ(σ2) 会过度收缩低方差方向，并通过将确定性等价工具推广到分数矩阵幂导出预测跨数据拆分差异的方差公式，在 UNet 和 DiT 架构上得到验证。

核心贡献

• 在相同噪声种子的条件下，训练于非重叠数据划分的扩散模型产生高度相似的输出；这种一致性在很大程度上可由共享的高斯统计量解释，这些统计量已经能预测大部分生成图像。
• 一个随机矩阵理论框架量化了有限数据集如何塑造线性去噪器和采样映射的期望与方差。它揭示出采样变异性会将噪声水平重正化，从而过度收缩低方差方向，并且跨数据拆分的方差可分解为特征模间的各向异性、输入间的非均匀性以及与数据集大小的缩放关系。
• 确定性等价工具被推广到分数矩阵幂，以对整个采样轨迹导出闭合形式的预测。该理论在 UNet 和 DiT 架构的非记忆化区间得到验证，识别出跨数据拆分下样本偏差出现的位置和方式。

引言

扩散模型在不同训练轮次之间表现出惊人的一致性：当它们在不同数据划分、不同架构或重复初始化下训练于同一数据分布时，往往会将相同的噪声种子映射到高度相似的输出。这与 GAN 和 VAE 等生成框架形成对比，后者的隐空间存在旋转模糊性。这一现象表明扩散模型恢复了数据流形的普遍统计结构，从而引发关于泛化与记忆化的根本问题。先前的工作缺乏对这种一致性的严格理论解释。作者利用随机矩阵理论（RMT）填补了这一空白。他们指出，线性去噪器已经能预测跨数据拆分的吻合度，而有限样本的变异性通过一个重正化的噪声尺度进入，该尺度解释了低方差模式的过度收缩。分析推导出一个方差定律，将偏差分解为各向异性的特征模贡献、依赖于输入的非均匀性，以及与数据集大小相关的全局缩放因子。通过将确定性等价推广到分数矩阵幂，作者使得对完整采样轨迹的分析成为可能，并验证了这些 RMT 原理在深层 CNN 和 DiT 模型中即使超出线性区域也能定性地控制一致性。

方法

作者利用随机矩阵理论分析训练于独立数据划分的扩散模型的一致性。核心技术工具是确定性等价，它允许在大维度极限下用确定性替代物替换经验协方差矩阵。这一方法导出一个关于重正化噪声尺度 $\kappa(\lambda)$κ(λ) 的自洽方程，其中样本协方差的随机效应被吸收到一个标量中，而总体协方差保持不变。

在期望意义上，作者证明有限数据实际上将总体去噪器中的噪声尺度进行了重正化。这一机制起到自适应岭惩罚的作用，使得有限样本去噪器将低方差方向更激进地收缩到数据集均值附近。当将这一分析扩展到涉及协方差分数次幂的完整扩散采样映射时，作者利用积分表示导出确定性等价。得到的期望值揭示了沿较低特征模向数据集均值的系统性过度收缩，从而降低了这些方向上的生成方差。

为理解去噪器在不同数据集实现下的波动与一致性，作者将方差分解为三个可解释的成分：各向异性、非均匀性以及与数据集大小的全局缩放。各向异性因子表明，不确定性在方差与重正化噪声相匹配的特征模上达到最大。非均匀性因子表明，对于沿高方差模式移动的输入，不确定性会被放大。

作者通过线性扩散采样映射的数值模拟验证了这些理论预测。如该图所示，沿特征模的期望缩放证实了与理想缩放相比，低特征模上的过度收缩效应。跨数据拆分的均方误差展示了一致性的各向异性，即沿顶部特征空间存在更大的偏差，以及非均匀性效应，即沿高方差模式移动的样本表现出更大的分歧。此外，将均方误差按特征带分解后揭示出，低方差模式需要显著更大的数据集规模才能使跨数据拆分的偏差衰减，这表明精细细节需要更多数据才能在训练拆分之间达到一致性。

实验

训练于独立数据划分的扩散模型产生几乎相同的样本，这种一致性在很大程度上可由线性高斯预测器捕获，并源于共享的协方差统计量。有限样本分析表明，有限数据会重正化噪声尺度，导致向均值过度收缩，并使去噪器的一致性变得不均匀：不确定性在方差与重正化噪声相匹配的特征模上达到峰值，并且对于沿高方差方向移动的输入也会增大。这些预测可推广到深度网络，一旦数据集规模超出记忆化区间，相同的偏差和谱方差模式就会出现，从而证实线性随机矩阵理论捕捉到了有限数据下扩散模型行为的关键方面。