초록
최근 몇 년 동안 신경망 아키텍처 탐색(Neural Architecture Search, NAS)에 대한 관심이 급격히 증가하고 있다. 기존의 많은 NAS 알고리즘은 아키텍처 공간을 반복적으로 탐색하는 방식으로 구성되어 있으며, 각 단계에서 하나의 아키텍처를 선택하고, 이를 학습시켜 성능을 평가한 후, 이전의 모든 평가 결과를 바탕으로 다음 선택지를 결정한다. 그러나 평가 단계는 노이즈가 존재한다. 즉, 가중치의 무작위 초기화에 따라 최종 정확도가 달라지기 때문이다. 기존 연구들은 이러한 노이즈를 다루기 위한 새로운 탐색 알고리즘을 개발하는 데 집중해왔으며, 아키텍처 평가에서의 노이즈 수준을 정량화하거나 이해하는 데는 다소 소홀했다. 본 연구에서는 (1) 가장 단순한 오르막 탐색(hill-climbing) 알고리즘이 NAS의 강력한 기준선(baseline)이 될 수 있음을 보이며, (2) 대표적인 NAS 벤치마크 데이터셋에서 노이즈를 최소화할 경우, 오르막 탐색이 많은 최신 상위 수준의 알고리즘들을 능가함을 확인한다. 또한, 노이즈가 감소함에 따라 국소 최소값의 수가 상당히 줄어든다는 실험적 증거를 제시하고, NAS에서 국소 탐색(local search)의 성능에 대한 이론적 특성을 제시함으로써 본 관찰을 보다 뒷받침한다. 본 연구의 결과를 바탕으로 NAS 연구 분야에 다음과 같은 제안을 한다. (1) 국소 탐색을 기준선으로 활용할 것, (2) 가능한 경우 학습 파이프라인을 노이즈 제거(denoising)할 것.