효율적인 성능 추정을 통한 안내형 진화적 신경망 아키텍처 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS) 기법은 이미지 처리 작업에 성공적으로 적용되어 뛰어난 성능을 보였다. 그러나 기존의 NAS 기법은 종종 복잡한 구조를 가지며, 생성된 아키텍처가 일정 수준 이상의 성능을 보이기 시작하면 빠르게 국소 최적해에 수렴하는 경향이 있다. 본 논문에서는 가이드된 NAS를 위한 새로운 접근법인 GEA(Guided Evolutionary Architecture search)를 제안한다. GEA는 초기화 단계에서 제로 프록시 추정기(zero-proxy estimator)를 사용하여 각 세대에 여러 아키텍처를 생성하고 평가함으로써 탐색 공간을 탐색함으로써 진화를 안내한다. 이 과정에서 단 하나의 최고 점수를 기록한 아키텍처만이 다음 세대로 이어져 훈련되며 유지된다. 이후 GEA는 각 세대마다 기존 아키텍처로부터 여러 개의 후보 아키텍처를 생성함으로써 추가적인 복잡성 없이 탐색 공간에 대한 지식을 지속적으로 추출한다. 또한, 후계 아키텍처를 통해 가장 성능이 뛰어난 아키텍처를 강력히 활용하도록 유도하면서, 부모 아키텍처의 변이를 통해 탐색을 촉진하고, 나이가 어린 아키텍처를 나이가 많은 아키텍처보다 선호함으로써 새로운 아키텍처의 탐색을 장려한다. 실험 결과는 제안된 방법의 효과성을 입증하며, 다양한 제거 연구(ablation studies)를 통해 각 파라미터의 중요성을 평가하였다. 결과적으로 GEA는 NAS-Bench-101, NAS-Bench-201, TransNAS-Bench-101 벤치마크의 모든 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였다.