PRE-NAS: 예측기 지원 진화형 신경망 아키텍처 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 신경망의 아키텍처 설계 과정을 자동화하는 것을 목표로 한다. 이 과정에서는 탐색 공간 내에서 가능한 모든 아키텍처 중 후보 아키텍처들을 평가하기 위해 높은 계산 부하가 발생하는 경우가 많다. 이러한 계산 부하를 완화하기 위해 후보 아키텍처의 성능을 미리 예측하는 기법이 활용될 수 있으며, 이는 모든 후보 아키텍처를 직접 평가할 필요를 줄여준다. 그러나 이러한 예측 모델을 개발하기 위해서는 충분한 수의 평가된 아키텍처 데이터가 필요하며, 이러한 데이터 확보는 어려운 과제일 수 있다. 본 연구는 이러한 문제를 해결하기 위해, 매우 적은 수의 평가된 아키텍처에서도 우수한 성능을 발휘할 수 있는 새로운 진화 기반 NAS 전략인 예측기 지원 진화형 NAS(Predictor-assisted E-NAS, PRE-NAS)를 제안한다. PRE-NAS는 새로운 진화 탐색 전략을 도입하고, 세대 간에 고정밀도의 가중치 상속(weight inheritance)을 통합함으로써 효율적인 탐색을 가능하게 한다. 기존의 one-shot 전략과 달리, PRE-NAS는 후손 후보 아키텍처들이 구조적으로 동질적(topologically homogeneous)이므로, 가중치 공유로 인한 평가 편향을 피할 수 있으며, 더 정확한 성능 예측을 가능하게 한다. NAS-Bench-201 및 DARTS 탐색 공간에서 실시한 광범위한 실험 결과, PRE-NAS는 최신의 NAS 기법들을 능가하는 성능을 보였다. 단일 GPU를 사용해 0.6일 동안 탐색하는 데에만 소요된 PRE-NAS는 CIFAR-10에서 2.40%, ImageNet에서는 24%의 테스트 오차율을 달성하는 경쟁력 있는 아키텍처를 발견할 수 있었다.