17일 전

다중 작업 학습과 메타학습 간의 다리를 놓기: 효율적인 훈련과 효과적인 적응을 향하여

Haoxiang Wang, Han Zhao, Bo Li
다중 작업 학습과 메타학습 간의 다리를 놓기: 효율적인 훈련과 효과적인 적응을 향하여
초록

다중 작업 학습(Multi-task learning, MTL)은 여러 관련된 작업을 함께 학습함으로써 일반화 성능을 향상시키는 것을 목표로 한다. 반면, 현대적인 메타학습(meta-learning)은 학습 단계에서 보이지 않은, 레이블이 제한적인 작업들에 대해 테스트 단계에서 빠른 적응을 가능하게 한다는 점에서 MTL와 대비된다. 문제 설정 측면에서 MTL과 메타학습 사이에는 미묘한 차이가 존재하지만, 두 학습 패러다임은 모두 기존의 학습 작업들 간에 공유되는 구조가 더 나은 일반화와 적응 능력을 가능하게 한다는 동일한 통찰을 공유하고 있다. 본 논문에서는 이 두 학습 패러다임 간의 밀접한 연결을 이해하기 위해 이론적 분석과 실험적 조사를 통해 중요한 한 걸음을 내딛는다. 이론적으로, 우리는 MTL이 일종의 기울기 기반 메타학습(Gradient-based meta-learning, GBML) 알고리즘과 동일한 최적화 공식을 공유함을 처음으로 입증한다. 또한, 충분히 깊이 있는 과도하게 파라미터화된 신경망에 대해 MTL과 GBML이 학습한 예측 함수가 서로 가까우며, 특히 동일한 미지의 작업에 대해 두 모델이 유사한 예측을 제공함을 증명한다. 실험적으로, 적절한 구현을 통해 MTL이 여러 소수의 샘플 이미지 분류 벤치마크에서 최첨단 GBML 알고리즘과 경쟁 가능한 성능을 보임을 확인함으로써 이론적 결과를 뒷받침한다. 기존의 GBML 알고리즘은 종종 비용이 큰 이중 계층(second-order bi-level) 최적화를 포함하기 때문에, 본 연구에서 제안하는 일차 순서(first-order) MTL 방법은 mini-ImageNet과 같은 대규모 데이터셋에서 GBML보다 약 10배 이상 빠른 속도를 제공한다. 본 연구가 두 학습 패러다임 간의 격차를 좁히는 데 기여할 것으로 기대되며, 빠른 작업 적응을 지원하면서도 계산 효율성이 뛰어난 GBML의 대안을 제시한다고 본다.

다중 작업 학습과 메타학습 간의 다리를 놓기: 효율적인 훈련과 효과적인 적응을 향하여 | 최신 연구 논문 | HyperAI초신경