과제에 대한 강한 주의를 통해 재앙적인 잊어버림 극복

재난적 잊어버림(catastrophic forgetting)은 신경망이 후속 작업에 대한 학습을 거친 후 이전 작업에서 학습한 정보를 잃는 현상을 말합니다. 이 문제는 순차 학습 기능을 가진 인공지능 시스템에게 여전히 장애물로 남아 있습니다. 본 논문에서는 이전 작업의 정보를 유지하면서 현재 작업의 학습에 영향을 주지 않는 작업 기반 하드 어텐션 메커니즘(task-based hard attention mechanism)을 제안합니다. 하드 어텐션 마스크(hard attention mask)는 각 작업과 동시에 확률적 경사하강법(stochastic gradient descent)을 통해 학습되며, 이전 마스크들은 이러한 학습을 조건화하는 데 활용됩니다. 우리는 제안된 메커니즘이 재난적 잊어버림을 줄이는 데 효과적이며, 현재 비율을 45%에서 80%까지 감소시킬 수 있음을 보여주었습니다. 또한, 이 메커니즘이 다양한 하이퍼파라미터 선택에 견고하며, 여러 모니터링 기능을 제공함을 입증하였습니다. 이 접근 방식은 학습된 지식의 안정성과 압축성을 모두 제어할 수 있는 가능성을 제공하여, 온라인 학습 또는 네트워크 압축 응용 프로그램에서도 매력적으로 작용할 것으로 믿습니다.