초록
본 논문은 지속적 학습 방법이 학습자의 능력을 여러 모델에 분산시킴으로써 이점을 얻을 수 있다고 주장한다. 우리는 통계적 학습 이론과 실험적 분석을 통해 단일 모델이 여러 작업을 동시에 학습할 경우, 이러한 작업들 간에 비선형적이고 복잡한 상호작용이 발생할 수 있음을 보여준다. 특정 작업의 일반화 오차는 상호보완적인 작업들과 함께 학습될 경우 향상될 수 있지만, 경쟁적인 작업들과 함께 학습될 경우 오히려 악화될 수 있다. 이러한 이론적 통찰은 부스팅 이론에서 영감을 얻어, 지속적 학습의 각 에피소드 동안 하나씩 훈련되는 작은 모델들의 앙상블을 구성하는 우리의 방법인 Model Zoo를 개발하는 계기를 마련한다. 우리는 Model Zoo가 다양한 지속적 학습 벤치마크 문제에서 정확도 측면에서 큰 성능 향상을 달성함을 실험적으로 입증한다. 코드는 https://github.com/grasp-lyrl/modelzoo_continual 에서 공개되어 있다.