Hypernetworks를 활용한 지속 학습

인공 신경망은 여러 작업을 순차적으로 학습할 때 재앙적 잊음(catastrophic forgetting) 문제에 직면합니다. 이 문제를 해결하기 위해, 작업 조건부 하이퍼네트워크(task-conditioned hypernetworks) 기반의 새로운 접근 방식을 제시합니다. 즉, 작업의 식별 정보를 바탕으로 대상 모델의 가중치를 생성하는 네트워크입니다. 연속 학습(Continual Learning, CL)은 이러한 모델 클래스에서 간단한 주요 특징 덕분에 상대적으로 쉽습니다. 이 특징은 모든 이전 데이터의 입력-출력 관계를 회상하는 대신, 작업 특정 가중치 실현만 다시 학습하면 되는 것입니다. 이를 간단한 정규화기(regularizer)를 사용하여 메모리에 유지할 수 있습니다.표준 CL 벤치마크에서 최고 수준의 성능을 달성하는 것 외에도, 긴 작업 시퀀스에 대한 추가 실험 결과는 작업 조건부 하이퍼네트워크가 이전 기억을 매우 큰 용량으로 유지할 수 있음을 보여줍니다. 특히, 훈련 가능한 하이퍼네트워크 가중치의 수가 대상 네트워크 크기와 유사하거나 더 작을 때 이러한 긴 기억 수명이 압축적인 상태에서 달성됩니다. 우리는 저차원 작업 임베딩 공간(low-dimensional task embedding spaces)(하이퍼네트워크의 입력 공간) 구조에 대한 통찰력을 제공하며, 작업 조건부 하이퍼네트워크가 전송 학습(transfer learning)을 나타냄을 보여줍니다. 마지막으로, CIFAR-10/100 이미지 데이터셋 기반의 도전적인 CL 벤치마크에 대한 경험적 결과를 통해 전방향 정보 전달(forward information transfer)이 더욱 지원되는 것을 확인하였습니다.