幾何学的に適応する事前条件子を用いたメタラーニング

モデルに依存しないメタラーニング（Model-agnostic meta-learning; MAML）は、最も成功したメタラーニングアルゴリズムの一つである。MAMLは、外ループで共有初期化を学習し、内ループでタスク固有の重みを最適化する二段階最適化構造を持つ。MAMLは内ループにおいて標準的な勾配降下法に依存しているが、最近の研究では、内ループの勾配降下をメタ学習によって学習された前処理行列（preconditioner）で制御することで効果的な改善が得られることを示している。しかしながら、従来の前処理行列は、タスク固有かつパス依存的に同時に適応することができず、さらにリーマン計量（Riemannian metric）条件を満たしていない。この条件は、前処理勾配を用いた勾配降下法における最急降下学習を可能にする。本研究では、MAMLの限界を克服するため、幾何学的適応型前処理勾配降下法（Geometry-Adaptive Preconditioned gradient descent; GAP）を提案する。GAPはタスク固有のパラメータに依存する前処理行列を効率的にメタ学習でき、その前処理行列がリーマン計量であることが理論的に示される。この二つの性質により、幾何学的適応型前処理行列は内ループの最適化を効果的に改善する。実験結果から、GAPは多様な少サンプル学習タスクにおいて、最先端のMAML系および前処理勾配降下法を用いたMAML（PGD-MAML）系を上回る性能を発揮することが示された。コードは以下のURLで公開されている：https://github.com/Suhyun777/CVPR23-GAP。