초록
심층 신경망을 수작업으로 설계하는 데 소요되는 시간과 노력은 막대하다. 이에 따라 이러한 설계 과정을 자동화하기 위한 신경망 아키텍처 탐색(Neural Architecture Search, NAS) 기법이 개발되어 왔다. 그러나 기존 NAS 알고리즘은 일반적으로 느리고 비용이 크며, 탐색 과정을 안내하기 위해 수많은 후보 네트워크를 훈련시켜야 하는 문제가 있다. 만약 초기 상태에서 네트워크의 훈련 완료 후 정확도를 부분적으로 예측할 수 있다면, 이러한 문제를 상당 부분 완화할 수 있을 것이다. 본 연구에서는 훈련되지 않은 네트워크 내에서 데이터 포인트 간 활성화 값의 겹침(overlap of activations)을 분석하고, 이가 훈련된 네트워크의 성능을 유의미하게 예측할 수 있는 척도가 될 수 있음을 제안한다. 이 척도를 간단한 알고리즘에 통합함으로써, 단일 GPU에서 몇 초 내에 훈련 없이 강력한 네트워크를 탐색할 수 있는 방법을 제시하며, NAS-Bench-101, NAS-Bench-201, NATS-Bench 및 Network Design Spaces에서 그 효과를 검증하였다. 본 방법은 더 비용이 큰 탐색 기법과도 쉽게 병합 가능하다. 이를 위해 정규화된 진화 탐색(regularised evolutionary search)의 간단한 변형을 탐색하여 분석하였다. 실험 재현을 위한 코드는 https://github.com/BayesWatch/nas-without-training 에 공개되어 있다.