몬테카를로 트리 탐색을 위한 액션 공간 학습을 통한 샘플 효율적인 신경망 아키텍처 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 자동 신경망 설계를 위한 유망한 기술로 부상하고 있다. 그러나 기존의 MCTS 기반 NAS 접근 방식은 성능 지표(예: 정확도)와 직접적인 관련이 없는 수작업으로 설계된 액션 공간을 자주 사용함으로써, 아키텍처 탐색 과정에서 샘플 효율성이 낮아지는 문제가 있다. 샘플 효율성을 향상시키기 위해 본 논문에서는 잠재적 액션 신경망 아키텍처 탐색(Latent Action Neural Architecture Search, LaNAS)을 제안한다. LaNAS는 탐색 공간을 성능 지표가 유사한 네트워크를 포함하는 우수한 영역과 열악한 영역으로 반복적으로 분할하는 액션을 학습한다. 탐색 단계에서는 다양한 액션 시퀀스가 서로 다른 성능을 가진 영역을 생성하므로, 우수한 영역 쪽으로 탐색을 치우침으로써 탐색 효율을 크게 향상시킬 수 있다. 세 가지 NAS 작업에 대한 실증 결과에 따르면, LaNAS는 진화 알고리즘, 베이지안 최적화, 무작위 탐색 등 기존 기준 방법보다 최소한 한 계단 높은 샘플 효율성을 보였다. 실용적 적용에서도 일회성(one-shot) 및 일반적인(LaNAS) 버전 모두 기존 결과를 일관되게 능가하였다. 특히, LaNAS는 단 800개의 샘플만으로 CIFAR-10에서 99.0%의 정확도와 ImageNet에서 600 MFLOPS에서 80.8%의 Top-1 정확도를 달성하여, AmoebaNet보다 33배 적은 샘플로도 훨씬 뛰어난 성능을 보였다.