A-GEM을 이용한 효율적인 평생 학습

생애 학습(lifelong learning)에서 학습자는 일련의 과제를 차례대로 제시받으며, 이는 데이터 기반의 사전 지식을 점진적으로 구축하게 되며, 새로운 과제의 학습 속도를 높이는 데 활용될 수 있습니다. 본 연구에서는 현재의 생애 학습 접근법이 샘플 복잡성, 계산 비용 및 메모리 비용 측면에서 얼마나 효율적인지를 조사합니다. 이를 위해 먼저 학습자가 각 예제를 단 한 번만 관찰하고, 하이퍼파라미터 선택은 실제 학습 경험과 평가에 사용되지 않는 작은 독립적인 과제 집합에서 이루어지는 더 현실적인 평가 프로토콜을 소개합니다. 두 번째로, 학습자가 새로운 기술을 얼마나 빨리 습득하는지 측정하는 새로운 지표를 제안합니다. 세 번째로, GEM (Lopez-Paz & Ranzato, 2017)의 개선된 버전인 Averaged GEM (A-GEM)을 제안합니다. A-GEM은 GEM과 동일하거나 더 나은 성능을 보이며, EWC (Kirkpatrick et al., 2016) 및 기타 정규화 기반 방법과 거의 같은 계산 및 메모리 효율성을 제공합니다. 마지막으로, 고려 중인 분류 과제를 지정하는 과제 설명자(task descriptors)가 제공되면 모든 알고리즘 포함 A-GEM도 더욱 빠르게 학습할 수 있음을 보입니다. 여러 표준 생애 학습 벤치마크에 대한 실험 결과, A-GEM이 정확성과 효율성 사이에서 가장 좋은 균형을 이루고 있음을 입증하였습니다.