KNAS: 그린 뉴럴 아키텍처 서치

기존의 많은 신경망 아키텍처 탐색(NAS) 기법은 아키텍처 평가를 위해 하류 학습(downstream training)에 의존하고 있으며, 이는 막대한 계산 자원을 소모한다. 이러한 계산 과정이 큰 탄소 배출을 초래한다는 점을 고려할 때, 본 논문은 학습 없이 아키텍처를 평가할 수 있는 녹색(환경 친화적) NAS 솔루션을 탐구한다. 직관적으로, 아키텍처 자체에 의해 유도되는 기울기(gradient)는 수렴성과 일반화 성능을 직접 결정한다. 이에 따라 우리는 '기울기 커널 가설(Gradient Kernel Hypothesis)'을 제안한다: 기울기는 무작위 초기화된 네트워크를 평가하기 위한 거시적(proxy) 지표로 사용될 수 있다. 이 가설을 뒷받침하기 위해 이론적 분석을 수행하였으며, 학습 손실과 검증 성능과 높은 상관관계를 보이는 실용적인 기울기 커널을 발견하였다. 이 가설을 바탕으로, 새로운 커널 기반 아키텍처 탐색 방법 KNAS를 제안한다. 실험 결과, KNAS는 이미지 분류 과제에서 기존의 '학습 후 평가(train-then-test)' 방식에 비해 수배에서 수십만 배까지 빠른 성능을 달성하며 경쟁력 있는 결과를 보였다. 또한 극도로 낮은 탐색 비용 덕분에 다양한 응용 분야에 널리 활용 가능하다. 특히, 탐색된 네트워크는 두 가지 텍스트 분류 과제에서 강력한 기준 모델인 RoBERTA-large를 초월하는 성능을 나타냈다. 코드는 \url{https://github.com/Jingjing-NLP/KNAS} 에 공개되어 있다.