PathNet: 슈퍼 신경망에서 진화 채널을 통한 경사 하강법

인공 일반 지능(AGI)을 위해 여러 사용자가 동일한 거대한 신경망을 훈련시키는 것이 효율적일 수 있습니다. 이는 파라미터 재사용이 가능하지만, 재난적 잊어버림(catastrophic forgetting) 없이 이루어져야 합니다. PathNet은 이러한 방향으로의 첫 걸음입니다. PathNet은 신경망 내에 임베딩된 에이전트들이 새로운 작업을 위해 신경망의 어떤 부분을 재사용할지를 발견하는 알고리즘입니다. 에이전트들은 신경망을 통과하는 경로(pathways)로, 역전파 알고리즘의 순방향 및 역방향 전달 과정에서 사용되고 업데이트되는 파라미터의 하위 집합을 결정합니다. 학습 중에는 대회 선택 유전자 알고리즘이 사용되어 신경망을 통과하는 경로를 복제 및 변이하기 위해 선택합니다. 경로 적합도는 비용 함수에 따라 측정된 해당 경로의 성능으로 정의됩니다.우리는 성공적인 전이 학습(transfer learning)을 보여주었습니다. 작업 A에서 학습된 경로의 파라미터를 고정하고, 작업 B를 위한 새로운 경로 집단을 다시 진화시키면, 작업 B가 처음부터 시작하거나 미세 조정(fine-tuning) 후보다 더 빨리 학습될 수 있습니다. 작업 B에서 진화된 경로들은 작업 A에서 최적화된 경로의 일부를 재사용합니다. 이는 바이너리 MNIST, CIFAR, SVHN 감독 학습 분류 작업과 Atari 및 Labyrinth 강화 학습 작업 세트에서 긍정적인 전이가 입증되었으며, PathNets가 신경망 훈련에 일반적으로 적용될 수 있음을 시사합니다. 마지막으로, PathNet은 병렬 비동기 강화 학습 알고리즘(A3C)의 초매개변수(hyperparameter) 선택에 대한 견고성을 크게 개선합니다.