지속적 학습에서 최적의 관련성 맵핑을 통한 치명적 망각과 기억 이해

신경망에서의 치명적 망각(catastrophic forgetting)은 지속적 학습(continual learning)에 있어 중요한 문제이다. 현재 대부분의 방법들은 훈련 과정에서 과거 데이터를 재생(replay)하는 방식을 취하고 있으나, 이는 이상적인 지속적 학습 시스템의 제약을 위반하는 것이다. 더불어, 현재의 망각 대응 전략들은 치명적 기억(catastrophic remembering)이라는 문제—즉, 서로 다른 작업의 데이터를 구분하는 능력이 악화되는 현상—을 무시하고 있다. 본 연구에서는 최적 겹침 가설(Optimal Overlap Hypothesis)에 영감을 받아, 관련성 맵핑 네트워크(Relevance Mapping Networks, RMNs)를 제안한다. RMNs는 현재 작업에 필요한 파라미터에 큰 가중치를 할당함으로써 가중치의 관련성을 반영하는 맵핑을 생성한다. 우리는 RMNs가 치명적 망각과 치명적 기억이라는 이중 문제를 극복할 수 있는 최적의 표현 겹침을 학습함을 보여준다. 제안한 방법은 모든 일반적인 지속적 학습 데이터셋에서 최신 기술 수준의 성능을 달성하며, 데이터 재생 방법을 크게 능가함과 동시에 이상적인 지속적 학습 시스템의 제약을 위반하지 않는다. 게다가 RMNs는 비지도(unsupervised) 방식으로 새로운 작업의 데이터를 탐지할 수 있는 능력을 유지함으로써, 치명적 기억에 대한 강건성(resilience)을 입증한다.