초록
신경망은 이미지, 음성 및 자연어 이해와 같은 많은 어려운 학습 과제에서 잘 작동하는 강력하고 유연한 모델입니다. 그러나 성공에도 불구하고 신경망을 설계하는 것은 여전히 어렵습니다. 본 논문에서는 반복 신경망(RNN)을 사용하여 신경망의 모델 설명을 생성하고, 이 RNN을 강화학습으로 훈련시켜 검증 세트에서 생성된 구조의 예상 정확도를 최대화합니다. CIFAR-10 데이터셋에서 우리의 방법은 처음부터 시작하여 테스트 세트 정확도 측면에서 최고의 인간이 발명한 구조와 맞먹는 새로운 네트워크 구조를 설계할 수 있습니다. 우리의 CIFAR-10 모델은 테스트 오류율 3.65를 달성하였으며, 이는 유사한 구조 방식을 사용한 이전 최고 수준의 모델보다 0.09% 더 우수하고 1.05배 더 빠릅니다.Penn Treebank 데이터셋에서는 우리의 모델이 널리 사용되는 LSTM 셀과 다른 최고 수준의 기준모델들을 능가하는 새로운 반복 셀을 구성할 수 있습니다. 우리의 셀은 Penn Treebank에서 테스트 세트 혼동도(perplexity) 62.4를 달성하였으며, 이는 이전 최고 수준의 모델보다 3.6 혼동도가 낮습니다. 또한 이 셀은 PTB의 문자 언어 모델링 작업에 전송되어 1.214의 혼동도로 최고 수준의 성능을 보여주었습니다.