압축, 선택, 그리고 성장: 잊지 않는 연속 학습을 위한 방법

지속적인 평생 학습은 많은 응용 분야에서 필수적입니다. 본 논문에서는 지속적인 딥 러닝을 위한 간단하면서도 효과적인 접근 방식을 제안합니다. 제안된 접근 방식은 딥 모델 압축, 중요한 가중치 선택, 그리고 점진적인 네트워크 확장을 원칙으로 활용합니다. 이러한 원칙들을 반복적으로 통합함으로써, 우리는 지속 학습 과정에서 순차적으로 수행되는 작업의 수에 맞춰 확장 가능한 증분 학습 방법을 소개합니다. 우리의 접근 방식은 구현이 쉽고 여러 유리한 특성을 가지고 있습니다.첫째, 이 방법은 잊어버림(즉, 새로운 작업을 학습하면서 이전 모든 작업을 기억하는 것)을 피할 수 있습니다. 둘째, 모델 확장을 허용하지만, 순차적 작업 처리 시 모델의 컴팩트성을 유지할 수 있습니다. 또한, 우리의 압축 및 선택/확장 메커니즘을 통해 이전 작업들을 독립적으로 학습시키는 것보다 더 나은 모델을 새 작업들에 대해 구축하는 데 도움이 되는 것으로 나타났습니다.실험 결과는 우리 접근 방식이 잊어버림 없이 여러 작업을 처리하기 위한 딥 모델을 점진적으로 학습할 수 있으며, 성능 면에서 개별 작업 학습보다 더 만족스러운 결과를 얻으면서 모델의 컴팩트성을 유지할 수 있음을 보여줍니다.