파라미터 공유를 통한 효율적인 신경망 구조 검색

우리는 효율적인 신경망 구조 탐색(Efficient Neural Architecture Search, ENAS)을 제안합니다. 이는 자동 모델 설계를 위한 빠르고 저렴한 접근 방식입니다. ENAS에서 컨트롤러는 큰 계산 그래프 내에서 최적의 부분 그래프를 찾음으로써 신경망 구조를 발견하도록 학습됩니다. 컨트롤러는 정책 경사를 사용하여 검증 세트에서 예상 보상을 최대화하는 부분 그래프를 선택하도록 훈련됩니다. 한편, 선택된 부분 그래프에 해당하는 모델은 표준 교차 엔트로피 손실을 최소화하도록 훈련됩니다. 자식 모델 간의 매개변수 공유 덕분에 ENAS는 빠릅니다: 기존 모든 자동 모델 설계 접근 방식보다 훨씬 적은 GPU 시간을 사용하여 강력한 경험적 성능을 제공하며, 특히 표준 신경망 구조 탐색(Neural Architecture Search)보다 1000배 저렴합니다.Penn Treebank 데이터셋에서 ENAS는 새로운 구조를 발견하여 테스트 퍼플렉시티 55.8을 달성하였습니다. 이는 후처리 없이 모든 방법 중 가장 우수한 성능을 나타내며, 새로운 기준을 설정하였습니다. CIFAR-10 데이터셋에서는 ENAS가 새로운 구조를 설계하여 테스트 오류율 2.89%를 달성하였는데, 이는 Zoph 등(2018)의 NASNet과 비슷한 수준이며 NASNet의 테스트 오류율은 2.65%입니다.