一句话总结

作者首次为使用梯度下降和权重衰减的过参数化线性回归的 grokking 时间建立了严格的定量边界，证明了超参数调节可以放大或消除 grokking，并通过实验表明这些边界能够刻画非线性神经网络中的 grokking 行为，指出 grokking 并非深度学习固有的故障模式，而是特定训练条件导致的可控结果。

核心贡献

• 本文首次为使用梯度下降和权重衰减训练的过参数化线性回归建立了关于 grokking 时间的严格定量边界，证明模型经历从过拟合到持续低泛化能力再到任意小测试误差的渐进过程。
• 理论分析和实验均表明，通过调节权重衰减系数等超参数，可以系统性地放大或消除 grokking，提供了一种有原则的控制机制。
• 在非线性神经网络上，定量边界同样能在实验层面刻画 grokking 行为，进一步支持 grokking 源于特定训练条件，而非深度学习根本性缺陷的结论。

引言

作者研究 grokking 这一反直觉现象：模型完美拟合训练数据之后，测试性能在很久后才提升。以往的理论分析将 grokking 归因于懒惰训练与丰富训练机制的转换或权重衰减的作用，但均未提供严格的端到端保证，即过拟合后泛化能力会持续不佳并最终解决。作者通过分析带教师–学生配置的过参数化岭回归填补了这一空白，首次证明即使使用梯度下降和权重衰减训练的线性模型也能出现可证明的 grokking。他们建立了训练误差收敛的定量边界，刻画了泛化误差更慢衰减所体现的延宕过拟合，并最终收敛到具有良好测试性能的全局最优点，这一切都可以通过权重衰减系数等超参数完全控制。

方法

作者在岭回归的框架下研究 grokking 现象。考虑一个基本的回归问题：训练一个学生线性回归模型 $N(\boldsymbol{x}; \boldsymbol{\theta}) = \langle \boldsymbol{\theta}, \phi(\boldsymbol{x}) \rangle$N(x;θ)=⟨θ,ϕ(x)⟩ 来学习一个可实现的教师函数 $N^*(\boldsymbol{x}) = \langle \boldsymbol{\theta}^*, \phi(\boldsymbol{x}) \rangle$N∗(x)=⟨θ∗,ϕ(x)⟩。其中 $\phi(\boldsymbol{x})$ϕ(x) 是固定的特征映射，$\boldsymbol{\theta}$θ 表示可训练参数。

训练过程采用岭回归，最小化带有 $\ell_2$ℓ2​ 正则化项的经验均方损失。训练目标定义为：

@@P2P_BLOCK_1@@

其中 $\lambda > 0$λ>0 是权重衰减参数。模型通过固定步长 $\eta$η 的普通梯度下降（GD）优化，参数更新方式为 $\boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} - \eta \nabla_{\boldsymbol{\theta}} L_n(\boldsymbol{\theta}^{(t)}; \lambda)$θ(t+1)=θ(t)−η∇θ​Ln​(θ(t);λ)。

为了形式化 grokking，作者定义了训练损失收敛时间 $t_1$t1​ 和泛化损失收敛时间 $t_2$t2​。当这两个事件之间存在显著延迟（$t_2 \gg t_1$t2​≫t1​）时，即发生 grokking。在过参数化体制（$m \gg n$m≫n）下，梯度下降优化过程有效更新权重向量在数据所张成子空间上的投影以快速拟合训练数据，但正交补空间中的分量则以权重衰减所决定的更慢速度收敛，导致在最终泛化之前出现有害的过拟合。

作者给出了 grokking 时间 $t_2 - t_1$t2​−t1​ 的定量边界，并分析了不同训练超参数如何影响这一延迟。

@@P2P_BLOCK_2@@

如下图所示，理论边界与关于超参数依赖关系的实验观测高度吻合。具体来说，减小权重衰减 $\lambda$λ 会延长泛化延迟，因为 $t_2$t2​ 与 $\lambda$λ 成反比。减小样本数 $n$n 会加速训练损失收敛，从而放大 grokking。增加特征维度 $m$m 对 $t_1$t1​ 和 $t_2$t2​ 影响甚微，而增大初始化尺度 $\nu^2$ν2 则会以对数速率同时增加 $t_1$t1​ 和 $t_2$t2​。

实验

实验验证了 grokking 的理论框架：梯度下降配合权重衰减可以首先达到低训练误差而泛化能力仍差，然后经过一段可以通过更小权重衰减任意延长的延迟后最终良好泛化。早期和晚期关键时间点对超参数的依赖关系与线性岭回归推导出的边界密切吻合，这种定性行为在随机特征网络和完全训练的两层 ReLU 网络中均存在，表明分析洞察可能超出简化的线性场景同样成立。