NAS가 트리와 만날 때: 신경망 아키텍처 검색을 위한 효율적인 알고리즘

신경망 아키텍처 탐색(NAS)의 핵심 과제는 거대한 탐색 공간에서 지혜롭게 탐색하는 방법을 설계하는 것이다. 본 연구에서는 탐색 효율성을 높이기 위해 소수의 아키텍처만 탐색하면서도 더 높은 탐색 정확도를 달성하는 새로운 NAS 방법인 TNAS(TNAS with trees)를 제안한다. TNAS는 아키텍처 트리와 이진 연산 트리를 도입하여 탐색 공간을 인자화함으로써 탐색 크기를 상당히 감소시킨다. 제안된 트리에서 수정된 이중 레벨 너비 우선 탐색(Breadth-First Search)을 수행하여 고성능 아키텍처를 탐지한다. 놀랍게도, TNAS는 NAS-Bench-201 기준으로 CIFAR-10에서 4개의 GPU 시간 내에 테스트 정확도 94.37%를 달성하며 전역 최적 아키텍처를 발견하였다. 평균 테스트 정확도는 94.35%로, 기존 최고 수준의 성능을 초과하였다. 코드는 다음 주소에서 확인할 수 있다: \url{https://github.com/guochengqian/TNAS}.