초록
우리는 메타-곡률(Meta-Curvature, MC)을 제안합니다. 이는 더 나은 일반화와 빠른 모델 적응을 위해 곡률 정보를 학습하는 프레임워크입니다. MC는 모델-agnostic 메타-러너(Model-Agnostic Meta-Learner, MAML)를 확장하여 내부 최적화에서 그래디언트를 변환하는 방법을 학습합니다. 이렇게 하면 변환된 그래디언트가 새로운 작업에 대해 더 나은 일반화 성능을 달성할 수 있습니다. 대규모 신경망을 훈련시키기 위해, 우리는 모델의 매개변수 간 의존성을 일련의 텐서 곱셈으로 포착하는 새로운 방식으로 곡률 행렬을 작은 행렬로 분해합니다. 제안된 방법의 효과를 여러 Few-Shot Learning 작업과 데이터셋에서 시연하였습니다. 어떠한 작업 특유의 기술이나 아키텍처 없이도, 제안된 방법은 이전 MAML 변형보다 상당한 개선을 이루었으며 최근 최신 방법들을 능가하였습니다. 또한, 메타-훈련 과정의 더 빠른 수렴 속도를 관찰하였습니다. 마지막으로, 메타-훈련된 곡률이 더 나은 일반화 성능을 설명하는 분석을 제시합니다.