LAMOL: LAnguage MOdeling for Lifelong Language Learning

대부분의 수명 주기 학습(Lifelong Learning, LLL) 연구는 이미지나 게임에 적용되지만, 언어에는 적용되지 않는다. 본 연구에서는 언어 모델링 기반의 간단하면서도 효과적인 수명 주기 언어 학습(Lifelong Language Learning, LLL) 방법인 LAMOL을 제안한다. LAMOL은 이전 작업의 가상 샘플을 재생하는 방식으로 작동하며, 추가 메모리나 모델 용량을 요구하지 않는다. 구체적으로 LAMOL은 동시에 작업 해결과 학습 샘플 생성을 학습하는 언어 모델이다. 새로운 작업을 학습할 때, 모델은 새로운 작업의 데이터와 함께 이전 작업의 가상 샘플을 생성하여 함께 학습한다. 실험 결과, LAMOL은 치명적인 망각(catastrophic forgetting)을 효과적으로 방지하며, 고집스러움(지속성 문제)의 징후도 보이지 않으며, 하나의 모델로 매우 다른 다섯 가지 언어 작업을 순차적으로 수행할 수 있다. 전체적으로 LAMOL은 이전의 방법들보다 상당한 성능 향상을 보이며, 일반적으로 LLL의 상한선으로 여겨지는 다중 작업 학습(Multitasking)에 비해 단지 2~3% 정도 낮은 성능을 기록한다. 소스 코드는 다음 주소에서 확인할 수 있다: https://github.com/jojotenya/LAMOL.