초록
이 연구는 하이퍼네트워크를 탐구합니다. 하이퍼네트워크는 하나의 네트워크(하이퍼네트워크라고도 함)를 사용하여 다른 네트워크의 가중치를 생성하는 접근 방식입니다. 하이퍼네트워크는 자연에서 발견되는 추상화와 유사한 관계를 제공합니다: 유전자형(하이퍼네트워크)과 표현형(주 네트워크) 사이의 관계입니다. 진화 과정에서 발견되는 HyperNEAT와도 유사하지만, 우리의 하이퍼네트워크는 역전파를 통해 엔드투엔드로 훈련되므로 일반적으로 더 빠릅니다. 이 연구의 주요 목표는 하이퍼네트워크가 깊은 컨볼루션 네트워크와 긴 순환 네트워크에 유용하도록 만드는 것입니다. 여기서 하이퍼네트워크는 층 간 가중치 공유의 완화된 형태로 볼 수 있습니다. 본 연구의 주요 결과는 하이퍼네ت워크가 LSTM에 대해 비공유 가중치를 생성하고, 문자 단위 언어 모델링, 필기체 생성, 신경망 기계 번역 등 다양한 시퀀스 모델링 작업에서 최신 기술에 근접한 성능을 달성할 수 있다는 것입니다. 이 결과는 순환 네트워크에서 가중치 공유 패러다임을 도전합니다. 또한, 컨볼루션 네트워크에 적용된 하이퍼네트워크는 이미지 인식 작업에서 최신 기술 베이스라인 모델과 비교해도 준수한 성능을 보여주면서 학습 가능한 매개변수가 적게 필요하다는 점을 입증하였습니다.