SNAS: Stochastic Neural Architecture Search SNAS: 확률적 신경망 구조 탐색

우리는 Stochastic Neural Architecture Search (SNAS)를 제안합니다. 이는 신경망 구조 탐색(Neural Architecture Search, NAS)의 경제적이고 종단 간(end-to-end) 해결책으로, 역전파 과정에서 신경 연산 매개변수와 구조 분포 매개변수를 동시에 학습시키면서 NAS 파이프라인의 완전성과 미분 가능성을 유지합니다. 본 연구에서는 셀(cell) 내 검색 공간에 대한 결합 분포 매개변수에 대한 최적화 문제로 NAS를 재구성하였습니다. 구조 탐색을 위해 일반적인 미분 가능한 손실 함수(differentiable loss)에서 그래디언트 정보를 활용하기 위해 새로운 탐색 그래디언트(search gradient)가 제안되었습니다. 우리는 이 탐색 그래디언트가 강화학습 기반 NAS와 동일한 목적함수(objective function)를 최적화하지만, 구조적 결정에 대해 더 효율적으로 크레딧(credit)을 할당한다는 것을 증명하였습니다. 이러한 크레딧 할당은 로컬리 분해 가능한 보상(locally decomposable reward)을 통해 자원 효율적인 제약 조건을 강제하는 데 더욱 강화되었습니다.CIFAR-10 데이터셋에서의 실험 결과, SNAS는 비미분 진화 기반(non-differentiable evolution-based) 및 강화학습 기반 NAS보다 적은 에폭(epoch) 수로 최신 정확도(state-of-the-art accuracy)를 가진 셀 구조를 찾았으며, 이를 ImageNet으로도 전이할 수 있었습니다. 또한 SNAS의 하위 네트워크(child networks)는 검색 중에도 검증 정확도(validation accuracy)를 유지할 수 있으며, 이는 주의 기반(attention-based) NAS가 경쟁하기 위해서 매개변수 재훈련(parameter retraining)이 필요한 것과 대비되어 큰 데이터셋에서 효율적인 NAS로 나아가는 잠재력을 보여주었습니다. 우리의 구현은 https://github.com/SNAS-Series/SNAS-Series에서 공개되었습니다.