초록
본 논문은 메타-러닝 문제를 다루며, 이는 여러 작업의 분포가 존재하고, 이 분포에서 샘플링된 이전에 본 적 없는 작업이 주어졌을 때 빠르게 학습할 수 있는 에이전트를 얻고자 하는 문제입니다. 우리는 새로운 작업에 대해 빠르게 미세 조정(fine-tuning)할 수 있는 매개변수 초기화를 학습하는 알고리즘군을 분석합니다. 이 알고리즘군은 메타-러닝 업데이트 시 일차 도함수만 사용하며, 이를 통해 두 번째 도함수(second-order derivatives)를 무시한 MAML의 근사값인 일차 MAML(first-order MAML)을 포함하고 일반화합니다. 또한 여기서 소개하는 새로운 알고리즘인 Reptile도 포함되는데, 이는 작업을 반복적으로 샘플링하여 그 작업에서 훈련하고, 초기화 값을 해당 작업에서 학습된 가중치로 옮기는 방식으로 작동합니다. 우리는 Finn 등이 제시한 결과를 확장하여, 일차 메타-러닝 알고리즘이 소수 샷 분류(few-shot classification)를 위한 일부 잘 알려진 벤치마크에서 우수한 성능을 보이는 것을 보여주며, 이러한 알고리즘이 어떻게 작동하는지 이해하기 위한 이론적 분석을 제공합니다.