
신경망 구조 탐색(Neural Architecture Search, NAS)은 전문가가 설계한 네트워크를 학습된 작업 특화 구조로 대체할 잠재력을 지닌 유망한 연구 방향입니다. 본 연구에서는 이 분야의 실증적 결과를 확립하기 위해 다음과 같은 관찰을 기반으로 새로운 NAS 베이스라인을 제안합니다: (i) NAS는 특수한 하이퍼파라미터 최적화 문제이며; (ii) 무작위 검색(random search)은 하이퍼파라미터 최적화에 있어 경쟁력 있는 베이스라인입니다. 이러한 관찰을 바탕으로, 우리는 두 가지 표준 NAS 벤치마크인 PTB와 CIFAR-10에서 초기 중단(early-stopping)과 가중치 공유(weight-sharing) 알고리즘을 사용한 무작위 검색을 평가하였습니다. 우리의 결과는 초기 중단을 사용한 무작위 검색이 경쟁력 있는 NAS 베이스라인임을 보여주며, 예를 들어 두 벤치마크 모두에서 선두 NAS 방법론인 ENAS만큼 잘 수행되었습니다. 또한, 가중치 공유를 사용한 무작위 검색은 초기 중단을 사용한 무작위 검색보다 우수하며, PTB에서 최고 수준의 NAS 결과와 CIFAR-10에서 매우 경쟁력 있는 결과를 달성하였습니다. 마지막으로, 우리는 발표된 NAS 결과의 재현성 문제를 탐구하였습니다. 정확히 이러한 결과를 재현하기 위한 소스 자료의 부족함을 지적하고, NAS 실험 설정에서 다양한 변동성 원인이 주어졌을 때 발표된 결과의 견고성을 논의하였습니다. 관련하여, 우리는 우리의 결과를 정확히 재현하기 위한 모든 정보(코드, 무작위 시드(random seeds), 문서)를 제공하였으며, 각 벤치마크에서 여러 실행에 대한 가중치 공유를 사용한 무작위 검색 결과를 보고하였습니다.