9일 전

유사하고 비유사한 작업의 혼합 시퀀스에 대한 지속 학습

Zixuan Ke, Bing Liu, Xingchang Huang
유사하고 비유사한 작업의 혼합 시퀀스에 대한 지속 학습
초록

지속적 학습(sequence of tasks)에 관한 기존 연구는 주로 서로 유사하지 않고 공유 지식이 거의 없는 작업들 사이에서 치명적인 잊힘(catastrophic forgetting)을 다루는 데 초점을 맞추고 있다. 일부 연구는 작업들 간에 유사성과 공유 지식이 존재할 경우, 이전에 학습한 지식을 새로운 작업에 전이하는 방법에 대해서도 탐구한 바 있다. 현재까지 알려진 바에 따르면, 유사하고 비유사한 작업이 혼합된 시퀀스를 학습할 수 있으며, 잊힘을 해결하고 동시에 지식을 전방 및 후방으로 전이할 수 있는 기법은 제안된 바가 없다. 본 논문은 이러한 유사 및 비유사 작업을 동일한 네트워크 내에서 학습할 수 있는 새로운 기법을 제안한다. 비유사 작업에 대해서는 알고리즘이 잊힘 문제 해결에 집중하고, 유사 작업에 대해서는 이전에 학습한 일부 유사 작업의 지식을 선택적으로 전이함으로써 새로운 작업 학습을 향상시키는 데 초점을 맞춘다. 더불어, 알고리즘은 새로운 작업이 이전 작업들과 유사한지 자동으로 탐지할 수 있다. 혼합된 작업 시퀀스를 활용한 실험적 평가를 통해 제안된 모델의 효과성을 입증하였다.