미지의 딥 아키텍처에 대한 매개변수 예측

딥러닝은 머신 러닝 파이프라인에서 특징 설계를 자동화하는 데 성공해 왔습니다. 그러나 신경망 매개변수를 최적화하는 알고리즘은 여전히 주로 수작업으로 설계되며 계산적으로 비효율적입니다. 우리는 다른 네트워크의 훈련 과정에서 얻은 지식을 활용하여 이러한 매개변수를 직접 예측할 수 있는지 연구합니다. 이를 위해 다양한 신경망 구조의 대규모 계산 그래프 데이터셋인 DeepNets-1M을 소개하고, 이 데이터셋을 사용하여 CIFAR-10과 ImageNet에서 매개변수 예측을 탐색합니다. 그래프 신경망 분야의 발전을 활용하여, 단일 순방향 전달 과정에서 몇 분의 일 초만에 효율적인 매개변수를 예측할 수 있는 하이퍼네트워크를 제안합니다. 제안된 모델은 미확인되고 다양한 네트워크에서도 놀랍게도 좋은 성능을 보여줍니다. 예를 들어, ResNet-50의 모든 2400만 개 매개변수를 예측하여 CIFAR-10에서 60%의 정확도를 달성할 수 있습니다. ImageNet에서는 일부 네트워크의 상위 5개 정확도가 50%에 근접합니다. 우리의 작업 및 모델과 결과는 새로운, 더 계산적으로 효율적인 네트워크 훈련 패러다임으로 이어질 가능성이 있습니다. 또한, 우리의 모델은 신경망 구조의 강력한 표현을 학습하여 그 분석을 가능하게 합니다.