
최근 들어, 성능이 우수한 신경망 아키텍처(NAS)를 효율적이고 자동적으로 탐색하는 기술에 대한 관심이 점점 증가하고 있다. 이와 관련된 주요 연구 목표는 방대한 탐색 공간을 효과적으로 탐색하면서도, 신경망 아키텍처에 대한 비용이 큰 평가를 최소화하는 것이다. 이를 위해 서rogate 모델(surrogate model)은 아키텍처를 잠재 공간(latent space)에 매핑하여 성능을 예측하고, 신경망 아키텍처를 생성하는 생성 모델(generative model)은 생성기가 샘플링하는 잠재 공간 내에서 최적화 기반 탐색을 가능하게 한다. 두 모델 모두 구조화된 잠재 공간 내에서 질의 효율적인 탐색을 촉진하는 것을 목표로 한다. 본 논문에서는 효율적인 서rogate 모델과 생성적 설계의 장점을 결합함으로써, 질의 효율성과 유망한 아키텍처 생성 사이의 트레이드오프를 더욱 개선한다. 이를 위해, 반복적으로 점점 더 유망한 잠재 하위공간으로부터 샘플을 생성하도록 학습하는 생성 모델과 서rogate 예측기의 조합을 제안한다. 이 방법은 낮은 질의 횟수로도 매우 효과적이고 효율적인 아키텍처 탐색을 가능하게 한다. 또한, 본 방법은 정확도와 하드웨어 지연 시간 등 여러 목표를 간편하게 동시에 최적화할 수 있다. 제안한 접근법이 최고의 분류 정확도를 달성하기 위한 아키텍처 최적화뿐 아니라, 하드웨어 제약 조건 하에서도 뛰어난 성능을 보임을 실험을 통해 입증하였으며, 단일 및 다중 목적 최적화를 위한 여러 NAS 벤치마크에서 최신 기술을 초월한다. 또한 ImageNet에서 또한 최고 수준의 성능을 달성하였다. 코드는 http://github.com/jovitalukasik/AG-Net 에서 공개되어 있다.