implicit gradientsを用いたメタラーニング

知能システムの核となる能力の一つは、過去の経験を活用して新しいタスクを迅速に学習できる点である。近年、少サンプル学習（few-shot learning）において、勾配（または最適化）に基づくメタラーニングが効果的なアプローチとして注目されている。この枠組みでは、外ループにおいてメタパラメータを学習し、内ループでは、現在のタスクからの少量のデータのみを用いて、タスク固有のモデルを学習する。このアプローチをスケーリングする際の主要な課題は、内ループの学習プロセスを微分可能にする必要がある点であり、これにより計算コストとメモリ使用量が著しく増大するリスクがある。本研究では、陰的微分（implicit differentiation）の手法を活用し、内ループの最適化プロセスの経路に依存せず、内ループ最適化の解のみに依存する「陰的MAML（implicit MAML）」アルゴリズムを提案する。これにより、メタ勾配の計算が内ループ最適化手法の選択から独立する。その結果、本手法は内ループ最適化手法の選択に対して無関係であり、勾配の消失やメモリ制約を気にすることなく、多数の勾配ステップを処理することが可能となる。理論的には、陰的MAMLが、単一の内ループ勾配を計算する際に必要なメモリ量と比較して、定数倍の差しか生じず、かつ全体的な計算コストの増加なしに正確なメタ勾配を計算できることを証明した。実験的にも、陰的MAMLのこれらの利点が、少サンプル画像認識ベンチマークにおいて実証的な性能向上に繋がることを示した。