젠-나스: 고성능 딥 이미지 인식을 위한 제로샷 나스

정확도 예측기는 신경망 아키텍처 탐색(Neural Architecture Search, NAS)에서 아키텍처를 순위 매기는 데 핵심적인 역할을 한다. 고품질의 정확도 예측기를 구축하는 데는 일반적으로 막대한 계산 자원이 소요된다. 이 문제를 해결하기 위해, 정확도 예측기를 사용하지 않고, 새로운 제로샷 지표인 Zen-Score를 제안한다. Zen-Score는 네트워크의 표현력(Expressivity)을 나타내며, 모델의 정확도와 양의 상관관계를 가진다. Zen-Score는 학습된 네트워크 파라미터 없이 무작위 초기화된 네트워크를 몇 번의 전방 계산(forward inference)만으로 계산할 수 있다. Zen-Score를 기반으로, 주어진 추론 예산 내에서 대상 네트워크의 Zen-Score를 최대화하는 방식으로 새로운 NAS 알고리즘인 Zen-NAS를 제안한다. Zen-NAS는 반 정도의 GPU 일 이내에 데이터 없이(datum-free) 고성능 아키텍처를 직접 탐색할 수 있다. 기존의 NAS 방법들과 비교했을 때, Zen-NAS는 서버 및 모바일 GPU 플랫폼에서 여러 시나리오에서 순위 최고 수준의 정확도를 달성하면서도, 수십 배에서 수백 배 빠른 속도를 보인다. 본 연구의 소스 코드와 사전 학습 모델은 https://github.com/idstcv/ZenNAS 에 공개되어 있다.