초록
지속적 학습(Continual Learning, CL)은 여러 작업(task)을 순차적으로 학습함으로써 두 가지 주요 목표를 달성하려는 것으로, 치명적인 망각(Catastrophic Forgetting, CF)을 극복하고, 작업 간 지식 전이(Knowledge Transfer, KT)를 촉진하는 것이다. 그러나 기존의 대부분의 기법은 CF를 해결하는 데 집중하며 KT를 유도할 수 있는 메커니즘이 없어, 결과적으로 KT 성능이 낮은 편이다. 일부 연구에서는 CF와 KT를 동시에 다루려는 시도가 있었지만, 우리의 실험 결과에 따르면, 작업 간 공유 지식이 적을 경우 심각한 CF 문제가 발생한다. 또 다른 관찰은 현재 대부분의 CL 방법이 사전 훈련된 모델(pre-trained models)을 사용하지 않는다는 점이다. 그러나 사전 훈련된 모델이 최종 작업 성능을 크게 향상시킬 수 있다는 점이 이미 입증되었다. 예를 들어 자연어 처리 분야에서는 BERT 유사한 사전 훈련된 언어 모델을 미세 조정(fine-tuning)하는 것이 가장 효과적인 접근 중 하나로 평가된다. 그러나 CL 환경에서는 이러한 접근이 심각한 CF 문제를 겪는다. 이에 따라 자연스러운 질문이 제기된다. 사전 훈련된 모델을 CL에 최적으로 활용하는 방법은 무엇인가? 본 논문은 이러한 문제를 해결하기 위해 새로운 모델인 CTR(Continual Transfer and Retention)를 제안한다. 실험 결과를 통해 CTR의 효과성이 입증되었다.