기하학적 인지 기반 그래디언트 알고리즘: 신경망 아키텍처 탐색을 위한 접근법

최근 최신의 신경망 아키텍처 탐색(NAS) 기법들은 아키텍처와 공유 가중치에 대한 연속 최적화로 문제를 연속화함으로써 기울기 기반 최적화를 활용하고 있다. 그러나 이는 여전히 불확실성이 큰 과정이며, 잘 이해되지 않은 상태이다. 본 연구에서는 가중치 공유를 갖는 NAS를 이해하기 위해 단일 수준의 경험 위험 최소화(empirical risk minimization)를 연구할 것을 제안한다. 이를 통해 NAS 방법의 설계는 이 문제에 대해 고성능 해를 빠르게 도출할 수 있는 최적화 기법과 정규화 기법을 설계하는 것으로 축소될 수 있다. 미러 강하(mirror descent) 이론을 활용하여, 최적화의 내재적 구조를 고려한 지오메트리 인식 프레임워크를 제안한다. 이 프레임워크는 희소한 아키텍처 파라미터를 도출함으로써, 단순하면서도 새로운 알고리즘을 제시하며, 빠른 수렴 보장을 갖추고 있으며, 컴퓨터 비전 분야의 최신 NAS 벤치마크에서 최첨단 정확도를 달성한다. 특히, DARTS 탐색 공간과 NAS-Bench201 모두에서 CIFAR 및 ImageNet 데이터셋에 대해 기존에 발표된 최고 성능을 초과하였다. 특히 NAS-Bench201 기준으로 CIFAR-10 및 CIFAR-100에서 거의 오라클 최적에 가까운 성능을 달성하였다. 본 연구의 이론적 접근과 실험 결과는 최적화 기법과 이산 NAS 탐색 공간의 연속적 근사 간의 체계적인 공통 설계를 가능하게 함으로써, 새로운 연구 방향을 제시한다.