지오메트리 적응형 전조건자와 함께하는 메타학습

모델 무관 메타학습(MAML)은 가장 성공적인 메타학습 알고리즘 중 하나이다. 이 알고리즘은 외부 루프에서 공유 초기화를 학습하고, 내부 루프에서 작업별 가중치를 최적화하는 이중 최적화 구조를 갖는다. MAML은 내부 루프에서 표준 경사하강법을 기반으로 하지만, 최근 연구들은 내부 루프의 경사하강법을 메타학습된 전처리 행렬(Preconditioner)로 제어하는 것이 유리할 수 있음을 보여주었다. 그러나 기존의 전처리 행렬은 작업별로 동시에 적응하면서도 경로에 따라 변화하는 방식으로 조정할 수 없으며, 또한 조건부 경사하강법에서 가장 급격한 하강을 가능하게 하는 리만(Riemannian) 메트릭 조건을 만족하지 못한다. 본 연구에서는 이러한 MAML의 한계를 극복할 수 있는 기하학적 적응형 전처리 경사하강법(Geometry-Adaptive Preconditioned gradient descent, GAP)을 제안한다. GAP는 작업별 파라미터에 따라 의존하는 전처리 행렬을 효율적으로 메타학습할 수 있으며, 그 전처리 행렬이 리만 메트릭임을 수학적으로 보일 수 있다. 이러한 두 가지 특성 덕분에 기하학적 적응형 전처리 행렬은 내부 루프 최적화를 효과적으로 개선할 수 있다. 실험 결과, GAP는 다양한 소수 샘플 학습(task)에서 최신 기술인 MAML 계열 및 전처리 경사하강법-MAML(PGD-MAML) 계열보다 우수한 성능을 보였다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/Suhyun777/CVPR23-GAP.