지속 학습에서의 작은 에피소딕 기억

지속 학습(Continual Learning, CL)에서 에이전트는 이전 경험을 활용하여 미래의 작업에 지식을 전달하면서 작업 스트림으로부터 학습합니다. 이는 기존 학습 알고리즘에서 감독의 양을 줄이는 이상적인 프레임워크입니다. 그러나 성공적인 지식 전달을 위해서는 학습자가 이전 작업 수행 방법을 기억해야 합니다. 이전 작업에서 몇 개의 예제를 저장하고 이후 작업 학습 시 이러한 예제를 재생하는 방식으로, 학습자에게 과거에 보았던 작업 수행 능력을 부여할 수 있습니다. 이를 위해 작은 메모리를 저장소로 사용하며, 에피소딕 메모리(Episodic Memory)라고 부릅니다.본 연구에서는 각 훈련 예제가 단 한 번만 표시되는 CL 환경에서 매우 작은 에피소딕 메모리의 효과성을 실증적으로 분석하였습니다. 놀랍게도, CL에 적응된 네 가지 상당히 다른 감독 학습 벤치마크에서, 현재 작업과 에피소딕 메모리에 저장된 예제를 함께 훈련시키는 매우 간단한 기준 모델이 에피소딕 메모리를 사용하거나 사용하지 않는 특별히 설계된 CL 접근법보다 크게 우수한 성능을 보였습니다. 흥미롭게도, 우리는 심지어 과거 작업의 매우 작은 메모리에서도 반복적인 훈련이 일반화를 해치지 않으며, 오히려 7%에서 17% 사이의 성능 향상을 가져온다는 것을 발견하였습니다. 클래스 당 하나의 예제로 메모리를 채울 때 이러한 결과가 나타났습니다.