파라미터 공유를 통한 효율적인 신경망 아키텍처 탐색

우리는 자동 모델 설계를 위한 빠르고 저비용인 효율적인 신경망 아키텍처 탐색(Efficient Neural Architecture Search, ENAS)을 제안한다. ENAS는 각 하위 그래프가 신경망 아키텍처를 나타내는 대규모 계산 그래프를 구성하며, 이로 인해 모든 아키텍처가 파라미터를 공유하게 된다. 컨트롤러는 정책 그래디언트를 사용하여 검증 세트에서 기대 보상이 최대가 되는 하위 그래프를 탐색하도록 학습된다. 동시에 선택된 하위 그래프에 해당하는 모델은 전형적인 교차 엔트로피 손실을 최소화하도록 학습된다. 자식 모델 간의 파라미터 공유를 통해 ENAS는 기존 자동 모델 설계 방법보다 훨씬 적은 GPU 시간을 사용하면서도 강력한 실험적 성능을 달성할 수 있으며, 특히 기존의 표준 신경망 아키텍처 탐색(NAS)보다 1000배 이상 저렴하다. Penn Treebank에서 ENAS는 사후 훈련 처리 없이도 기존 최고 수준의 성능을 달성하는 새로운 아키텍처를 발견하여 테스트 퍼플렉서티를 56.3으로 기록했다. CIFAR-10에서는 2.89%의 테스트 오차를 달성하는 새로운 아키텍처를 발견했으며, 이는 NASNet(Zoph 등, 2018)의 2.65% 테스트 오차와 비슷한 수준이다.