신경망에서 재앙적 잊어버림 극복하기

연속적인 방식으로 작업을 학습하는 능력은 인공지능의 발전에 있어 매우 중요합니다. 일반적으로 신경망은 이러한 능력을 갖추지 못하며, 연결주의 모델에서 재앙적 잊어버림(catastrophic forgetting)이 불가피한 특성이라고 널리 알려져 있습니다. 그러나 우리는 이 한계를 극복하고 오랜 시간 동안 경험하지 않은 작업에서도 전문성을 유지할 수 있는 네트워크를 훈련시키는 것이 가능함을 보여주었습니다. 우리의 접근 방식은 과거 작업에 중요한 가중치(weight)에 대해 선택적으로 학습 속도를 낮추어 과거 작업을 기억합니다. 우리는 MNIST 손글씨 숫자 데이터셋을 기반으로 한 분류 작업 집합과 Atari 2600 게임 여러 개를 연속적으로 학습하여 우리의 접근 방식이 확장 가능하고 효과적임을 입증하였습니다.