활성화 및 스킵 연결 탐색 하에서 NAS의 일반화 성질

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 최첨단 신경망 아키텍처의 자동 탐색을 촉진해왔다. NAS의 발전에도 불구하고, 현재까지 NAS에 대한 이론적 보장에 대한 관심은 미미한 실정이다. 본 연구에서는 깊이 있는 레이어 스킵 연결 탐색과 활성화 함수 탐색을 통합적으로 가능하게 하는 통합 프레임워크 하에서 NAS의 일반화 성질을 탐구한다. 이를 위해, 혼합 활성화 함수, 완전 연결 신경망, 그리고 잔차 신경망을 포함하는 특정 탐색 공간을 기반으로, (무한) 폭의 극한 상태에서 신경 탄성 커널(Neural Tangent Kernel, NTK)의 최소 고유값에 대한 하한(또는 상한)을 도출한다. 본 연구에서는 최소 고유값을 활용하여 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 학습 중 NAS의 일반화 오차 한계를 설정한다. 특히 이론적 및 실험적으로 도출된 결과가, 학습 없이도 최고 성능을 발휘하는 아키텍처를 선택하는 데 어떻게 기여할 수 있는지를 입증하며, 이에 기반하여 학습 과정 없이도 작동 가능한 ‘트레이닝 프리(Train-free)’ 알고리즘을 제안한다. 결과적으로, 수치적 검증을 통해 본 연구는 NAS에 대한 계산 효율적인 방법 설계에 대한 통찰을 제공한다. 본 분석은 통합 프레임워크 하에서 다양한 아키텍처와 활성화 함수 간의 복잡한 상호작용으로 인해 비선형적이며, 심층 학습 이론에서 NTK의 최소 고유값에 대한 하한을 제시한다는 점에서 독자적인 이론적 가치를 지닌다.