한 번의 메타학습에서 다중 작업 가중치 최적화를 위한 동시 변동 방법

메타러닝 방법은 데이터가 부족한 환경에서도 새로운 작업에 빠르게 적응할 수 있는 학습 알고리즘을 구축하는 것을 목표로 한다. 이러한 알고리즘의 가장 어려운 평가 기준 중 하나는 일회 학습(one-shot learning) 문제이다. 이 설정에서는 많은 알고리즘이 학습 샘플 수가 제한되어 발생하는 불확실성에 직면하게 되며, 이로 인해 과적합(overfitting)이 발생할 수 있다. 이러한 문제는 모델에 추가적인 정보를 제공함으로써 해결할 수 있다. 이러한 목적을 달성하는 가장 효율적인 방법 중 하나는 다중 작업 학습(multi-task learning)이다. 본 논문에서는 표준 메타러닝 파이프라인의 개선을 탐구한다. 제안하는 방법은 공통 손실 함수 내에서 여러 메타학습 작업의 정보를 동시에 활용하며, 각 작업이 손실 함수에 미치는 영향은 작업별 가중치로 조절된다. 이러한 가중치의 적절한 최적화는 학습 과정과 최종 모델 품질에 큰 영향을 미칠 수 있다. 우리는 메타학습 작업 가중치 최적화를 위해 동시 변동 확률적 근사(Simultaneous Perturbation Stochastic Approximation, SPSA) 계열의 방법을 제안하고 탐구한다. 또한, 기울기 기반 방법과 비교하여 확률적 근사 기법이 더 우수한 성능을 보임을 실험적으로 입증한다. 제안된 다중 작업 수정(Multi-Task Modification)은 거의 모든 메타러닝 방법에 적용 가능하다. 본 연구에서는 이 수정 기법을 Model-Agnostic Meta-Learning(MAML)과 Prototypical Network 알고리즘에 적용하여 CIFAR-FS, FC100, miniImageNet, tieredImageNet 등의 일회 학습 벤치마크에서 성능을 평가하였다. 실험 결과, 제안된 방법은 기존 방법보다 개선된 성능을 보였다. 특히 본 논문에서 처음으로 다중 작업 가중치 최적화에 적용된 SPSA-Tracking 알고리즘은 가장 큰 정확도 향상을 보였으며, 최신 기술(state-of-the-art) 메타러닝 방법과 경쟁 가능한 성능을 달성하였다. 본 논문의 코드는 온라인으로 공개되어 있다.