9일 전

도움이 되는가, 해로운가: 지속 학습에서의 작업 간 연관성

{Eunwoo Kim, Hyundong Jin}
도움이 되는가, 해로운가: 지속 학습에서의 작업 간 연관성
초록

순차적으로 도착하는 작업을 최적화할 때, 딥 신경망은 과거 작업의 지식을 유지할 수 있는 능력이 부족하여 일반적으로 치명적인 망각(catastrophic forgetting) 문제를 겪는다. 이는 이전에 학습한 작업의 성능이 크게 저하되는 결과를 초래할 수 있다. 이러한 문제를 완화하기 위해 지속적 학습(continual learning)에 관한 연구들이 수행되어 왔다. 그러나 기존의 방법들은 네트워크 크기의 증가나 과거 작업과 긍정적으로 연관된 지식의 변화로 인해 계산 비용이 증가하는 단점이 있다. 본 연구에서는 현재 작업을 효과적으로 학습하기 위해, 모델 탐색(model search)을 활용하여 과거 작업에 대한 유익한 정보와 해로운 정보를 구분하는 새로운 접근법을 제안한다. 새로운 작업이 주어졌을 때, 제안하는 방법은 과거 작업들로부터 숨겨진 연관 지식을 탐지하여 새로운 작업 지식을 습득하는 데 추가적인 지원을 제공한다. 또한, 관련 작업들에 대한 현재 작업의 손실(loss)에 대한 민감도 측정을 도입함으로써, 작업 간의 협력 관계를 파악하면서 해로운 간섭을 완화한다. 제안된 방법은 지속적 학습에서의 작업 증가(scenario) 및 클래스 증가(class-incremental) 시나리오 모두에 적용되었으며, 소규모부터 대규모에 이르는 다양한 데이터셋을 사용하여 실험을 수행하였다. 실험 결과, 제안한 방법은 다양한 지속적 학습 기법들과 비교하여 우수한 성능을 보였으며, 치명적인 망각을 효과적으로 완화함을 확인할 수 있었다.