MSR-DARTS: Differentiable Architecture Search의 최소 안정 랭크

신경망 아키텍처 탐색(Neural Architecture Search, NAS) 분야에서, 차분형 아키텍처 탐색(Differentiable Architecture Search, DARTS)은 높은 효율성으로 인해 최근 많은 주목을 받고 있다. DARTS는 모든 연산자 후보를 나타내는 혼합 엣지(mixed edges)를 갖는 과도하게 파라미터화된 네트워크를 정의하고, 네트워크의 가중치와 아키텍처를 교대적으로 공동 최적화한다. 그러나 이 방법은 다른 모델들보다 빠르게 수렴하는 가중치를 갖는 모델을 찾게 되며, 이러한 가장 빠르게 수렴하는 모델은 종종 과적합(overfitting)을 유발한다. 따라서 최종적으로 얻어지는 모델은 항상 좋은 일반화 성능을 보이지 못한다. 이 문제를 해결하기 위해, 최소 안정 랭크(Minimum Stable Rank) 기준을 활용한 선택 과정으로 아키텍처 최적화를 대체함으로써 가장 낮은 일반화 오차를 갖는 모델을 찾는 방법인 최소 안정 랭크 DARTS(MSR-DARTS)를 제안한다. 구체적으로, 합성곱 연산자는 행렬로 표현되며, MSR-DARTS는 안정 랭크가 가장 작은 연산자를 선택한다. 제안한 MSR-DARTS는 CIFAR-10 및 ImageNet 데이터셋에서 평가되었으며, CIFAR-10에서는 4.0M 파라미터와 함께 0.3 GPU-일 이내에 2.54%의 오차율을 달성하였고, ImageNet에서는 상위-1 오차율이 23.9%에 달했다. 공식 코드는 https://github.com/mtaecchhi/msrdarts.git 에서 확인할 수 있다.