EPE-NAS: 신경망 아키텍처 탐색을 위한 학습 없이 효율적인 성능 예측

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 컴퓨터 비전 문제를 위한 아키텍처 설계에서 뛰어난 성과를 보여왔다. NAS는 아키텍처 설계와 공학적 설정을 자동화함으로써 인간이 정의한 설정이 필요 없도록 한다. 그러나 NAS 방법은 생성된 아키텍처를 평가하기 위해 주로 학습을 수행해야 하므로, 대규모 GPU 계산이 필요하여 일반적으로 느린 편이다. 이 성능 평가의 지연은 주로 성능 추정 전략에 기인하며, 이 전략은 샘플러 방법을 업데이트하기 위해 생성된 아키텍처를 평가해야 하는 점에서 기인한다. 본 논문에서는 이러한 네트워크 평가 문제를 완화하기 위해, 미학습 상태의 네트워크에 대한 점수를 부여하고, 이 점수와 학습된 후의 성능 간의 상관관계를 형성하는 효율적인 성능 추정 전략인 EPE-NAS를 제안한다. 본 전략은 미학습 상태의 네트워크 내부 및 클래스 간 상관관계를 분석함으로써 이를 수행한다. 우리는 EPE-NAS가 강력한 상관관계를 생성할 수 있음을 보이며, 단순한 무작위 샘플링 전략에 이를 통합함으로써, 단일 GPU를 사용해 단 몇 초 내에 학습 없이 경쟁력 있는 네트워크를 탐색할 수 있음을 실험적으로 입증한다. 또한 EPE-NAS는 탐색 방법에 독립적이며, 미학습 상태의 네트워크 평가에 초점을 두기 때문에 거의 모든 NAS 방법에 쉽게 통합할 수 있다.