NASI: 초기화 시점에서의 레이블 및 데이터 독립형 신경망 아키텍처 검색

최근 몇 년간 신경망 아키텍처 탐색(Neural Architecture Search, NAS)에 대한 관심이 급증하고 있다. 다양한 알고리즘이 제안되어 NAS의 탐색 효율성과 효과성을 향상시키고자 하였으며, 이는 각각 탐색 비용을 줄이고 선택된 아키텍처의 일반화 성능을 향상시키는 것을 목표로 한다. 그러나 이러한 알고리즘들의 탐색 효율성은 탐색 과정 중 모델 학습이 필수적으로 요구된다는 점에서 심각하게 제한된다. 이 한계를 극복하기 위해, 초기화 단계에서 후보 아키텍처의 수렴 성능을 특성화할 수 있는 신경 탄성 커널(Neural Tangent Kernel, NTK)의 능력을 활용하는 새로운 NAS 알고리즘인 초기화 시 NAS(NAS at Initialization, NASI)를 제안한다. 이를 통해 모델 학습을 완전히 배제함으로써 탐색 효율성을 크게 향상시킬 수 있다. NASI는 뛰어난 탐색 효율성 외에도 CIFAR-10/100 및 ImageNet과 같은 다양한 데이터셋에서 경쟁 가능한 탐색 효과성을 달성하였다. 더불어, 적절한 조건 하에서 NASI가 레이블과 데이터에 무관하다는 것이 입증되었으며, 이는 우리 NASI가 다양한 데이터셋 간에 선택된 아키텍처의 전이 가능성(transferability)을 보장함을 의미한다.