频率原则 Frequency Principle

Frequency Principle,简称 F-Principle(频率原则)是深度学习领域中的一个重要概念,它描述了深层神经网络 (DNN) 在训练过程中倾向于从低频到高频拟合目标函数的特性。这个原则由上海交通大学的许志钦 (Zhi-Qin John Xu) 及其合作者于 2018 年提出,在论文「Training behavior of deep neural network in frequency domain」中被明确阐述。

频率原则的提出为理解深度神经网络的训练行为、泛化能力提供了新的视角。根据这一原则,DNN 在学习过程中会首先捕捉目标函数的低频分量,然后逐渐学习高频分量。这种从低频到高频的拟合顺序,与许多传统数值计算方法(如 Jacobi 方法)的行为相反,后者通常在高频分量上收敛得更快。

研究团队通过在一维合成数据上的实验验证了频率原则,并在高维真实数据集(如 MNIST 和 CIFAR10)上进一步证实了其有效性。他们还提出了一种线性频率原则模型,能够准确预测宽两层 ReLU 神经网络的学习结果,并从理论上解释了 DNN 的泛化能力。