Bonsai-Net: 미분 가능 프루닝기를 통한 원샷 신경망 아키텍처 탐색

원샷 신경망 아키텍처 탐색(One-shot Neural Architecture Search, NAS)은 최첨단 모델을 탐색하는 데 소요되는 계산 비용을 최소화하는 것을 목표로 한다. 그러나 지난 1년 동안, 주요 NAS 알고리즘들이 사용하는 동일한 탐색 공간 내에서 단순한 무작위 탐색(random search)도 유사한 성능을 보이고 있다는 점이 주목받고 있다. 이를 해결하기 위해 우리는 NAS 탐색 공간을 극도로 완화하는 것이 미치는 영향을 탐구하고, 완화된 탐색 공간을 탐색할 수 있는 효율적인 원샷 NAS 방법인 Bonsai-Net을 제안한다. Bonsai-Net은 수정된 미분 기반 가지치기 기법(differential pruner)을 핵심으로 하며, 다른 최첨단 방법보다 파라미터 수가 훨씬 적으면서도 무작위 탐색보다 훨씬 우수한 최첨단 아키텍처를 일관되게 탐색할 수 있다. 또한 Bonsai-Net은 모델 탐색과 학습을 동시에 수행하므로, 완전히 새로운 모델을 훈련하는 데 소요되는 총 시간을 크게 단축시킨다.