CODE-CL: 깊이 있는 지속적 학습을 위한 개념자 기반 그래디언트 투영

지속적 학습(Continual Learning, CL)은 새로운 개념을 점진적으로 습득하고 통합할 수 있는 능력으로, 지능형 시스템이 동적 환경에 적응하기 위해 필수적이다. 그러나 깊은 신경망은 순차적으로 작업을 학습할 때 치명적인 망각(Catastrophic Forgetting, CF) 문제에 직면한다. 새로운 작업을 학습하는 과정에서 기존에 습득한 지식이 상당 부분 덮어쓰이기 때문이다. 이를 해결하기 위해 최근의 접근법들은 기울기(projection)를 사용하여 업데이트를 직교적 하위공간에 제약함으로써 이전 작업에 중요한 기울기 방향을 효과적으로 보존한다. 이러한 방법은 망각을 줄이는 데 효과적이지만, 특히 작업 간 상관관계가 높을 경우 앞서 배운 지식을 새로운 작업으로 전이하는 능력(Forward Knowledge Transfer, FWT)을 간접적으로 저해하는 문제가 있다. 본 연구에서는 개념자(Conceptor) 행렬 표현을 활용한 깊은 지속적 학습을 위한 기울기 투영 기법인 CODE-CL(Conceptor-based gradient projection for Deep Continual Learning)을 제안한다. CODE-CL은 정규화된 재구성(reconstruction) 형태인 개념자 행렬을 이용해 상관관계가 높은 작업을 적응적으로 처리한다. 이 방법은 이전 작업의 특징 공간의 가상 직교 하위공간에 기울기를 투영함으로써 치명적인 망각을 완화하면서 동시에 FWT를 촉진한다. 이를 위해 공유 기저 방향들의 선형 조합을 학습함으로써, 안정성과 유연성 사이의 효율적인 균형을 유지하고, 겹치는 입력 특징 표현 간 지식 전이를 가능하게 한다. 다양한 지속적 학습 벤치마크에서 실시한 광범위한 실험을 통해 CODE-CL의 효과성을 검증하였으며, 최첨단 기법들과 비교해 우수한 성능, 낮은 망각률, 그리고 개선된 FWT를 입증하였다.