
우리는 새로운 신경망 기반 연속 학습 알고리즘인 불확실성 규제 연속 학습(UCL, Uncertainty-regularized Continual Learning)을 소개합니다. 이 알고리즘은 전통적인 베이지안 온라인 학습 프레임워크와 변분 추론(variational inference)을 기반으로 합니다. 우리는 최근 제안된 규제 기반 방법의 두 가지 주요 단점을 집중적으로 다룹니다: a) 가중치별 규제 강도를 결정하기 위한 상당한 추가 메모리 비용과 b) 성능 저하를 방지할 수 있는 부드러운 잊어버림方案(scheme)의 부재입니다.본 논문에서는 가우시안 평균장 근사(Gaussian mean-field approximation)에 대한 변분 하한(variational lower bound)의 쿨백-라이블러(KL, Kullback-Leibler) 발산 항에 대해 새로운 해석을 도입함으로써 이 두 문제를 해결할 수 있음을 보여줍니다. 이러한 해석을 바탕으로 노드별 불확실성(node-wise uncertainty) 개념을 제안하여 가중치별 규제를 구현하는 데 필요한 추가 매개변수의 수를 크게 줄였습니다. 또한, 과거 작업에 중요한 매개변수를 동결하여 안정성을 강화하고, 새로운 작업에 대해 적극적으로 학습하는 매개변수를 제어하여 가소성을 허용하는 두 개의 추가 규제 항을 설계하였습니다.다양한 실험을 통해 UCL이 최근 대부분의 최신 기준선 알고리즘보다 우수한 성능을 보임을 입증하였습니다. 특히, 인기 있는 지도 학습 벤치마크뿐만 아니라 어려운 평생 강화 학습(lifelong reinforcement learning) 작업에서도 그렇습니다. 우리의 알고리즘 소스 코드는 https://github.com/csm9493/UCL에서 확인할 수 있습니다.