元曲率

我们提出了一种元曲率（Meta-Curvature, MC）框架，旨在通过学习曲率信息来实现更好的泛化能力和更快的模型适应。MC 在模型无关元学习器（Model-Agnostic Meta-Learner, MAML）的基础上进行了扩展，通过在内部优化过程中学习如何转换梯度，使得转换后的梯度在新任务上能够达到更好的泛化性能。为了训练大规模神经网络，我们采用了一种新颖的方案，将曲率矩阵分解为较小的矩阵，通过一系列张量积来捕捉模型参数之间的依赖关系。我们在多个少样本学习任务和数据集上展示了所提方法的效果。无需任何特定于任务的技术和架构，该方法在先前的 MAML 变体上实现了显著的改进，并且超越了最近的最先进方法。此外，我们观察到元训练过程的收敛速度更快。最后，我们进行了一项分析，解释了通过元训练获得的曲率为何能带来更好的泛化性能。