摘要
模型无关的元学习（Model-agnostic meta-learning, MAML）是当前最成功的元学习算法之一。其采用双层优化结构：外层优化过程学习一个共享的初始化参数，而内层优化过程则针对特定任务微调任务相关权重。尽管MAML在内层优化中依赖标准梯度下降，但近期研究表明，通过元学习得到的预条件矩阵（preconditioner）来调控内层梯度下降过程，能够带来显著性能提升。然而，现有预条件方法在任务特定性和路径依赖性方面难以同时实现自适应调整，且未能满足黎曼度量（Riemannian metric）条件，而该条件正是实现预条件梯度下降中“最速下降”优化的关键。在本研究中，我们提出了一种几何自适应预条件梯度下降方法（Geometry-Adaptive Preconditioned gradient descent, GAP），有效克服了MAML在预条件机制上的局限性。GAP能够高效地元学习一种依赖于任务特定参数的预条件矩阵，且所学习的预条件矩阵可被严格证明为一个黎曼度量。得益于上述两项关键性质，该几何自适应预条件矩阵显著提升了内层优化的效率与稳定性。实验结果表明，在多种少样本学习任务中，GAP在性能上均优于当前最先进的MAML系列方法以及预条件梯度下降-MAML（PGD-MAML）系列方法。相关代码已开源，地址为：https://github.com/Suhyun777/CVPR23-GAP。