19일 전

회귀를 통한 일반화된 신경망 아키텍처 탐색

Yuhong Li, Cong Hao, Pan Li, Jinjun Xiong, Deming Chen
회귀를 통한 일반화된 신경망 아키텍처 탐색
초록

현재 존재하는 대부분의 신경망 아키텍처 탐색(NAS, Neural Architecture Search) 알고리즘은 컴퓨터 비전 분야의 이미지 분류와 같은 특정 하류 작업(downstream tasks)을 대상으로 설계되고 평가된다. 그러나 광범위한 실험 결과에 따르면, 컴퓨터 비전 분야의 ResNet이나 자연어 처리 분야의 LSTM과 같은 주목할 만한 신경망 아키텍처들은 입력 데이터로부터 패턴을 효과적으로 추출할 수 있으며, 다양한 하류 작업에서 뛰어난 성능을 발휘한다. 본 논문에서는 NAS와 관련된 두 가지 핵심 질문에 답하고자 한다. (1) 특정 하류 작업의 성능을 사용하여 우수한 신경망 아키텍처를 평가하고 탐색하는 것이 필수적인가? (2) 하류 작업에 대해 무관하게(NAS를 수행하면서 하류 작업에 대한 지식 없이) 효과적이고 효율적으로 NAS를 수행할 수 있는가? 이러한 질문에 답하기 위해, 본 연구에서는 새로운 일반화 가능한 NAS 프레임워크인 GenNAS(Generic NAS)를 제안한다. GenNAS는 작업에 특화된 레이블을 사용하지 않고, 수동으로 설계된 합성 신호 기저(base)에 대한 회귀(regression)를 통해 아키텍처를 평가한다. 이와 같은 자기지도 학습(self-supervised) 회귀 작업은 아키텍처가 입력 신호 패턴을 포착하고 변환하는 내재적 능력을 효과적으로 평가할 수 있으며, 훈련 샘플의 사용을 더욱 충분히 가능하게 한다. 13개의 CNN 탐색 공간과 1개의 자연어 처리(NLP) 공간에서 수행된 광범위한 실험을 통해, GenNAS가 회귀 기반 평가 방식을 통해 뛰어난 효율성을 보였음을 입증하였다. 이는 아키텍처 평가의 정확도(예측 성능과 하류 작업 성능 간의 순위 상관관계를 나타내는 스피어만의 ρ 값)와 훈련 수렴 속도(몇 초 내에 수렴) 측면에서 모두 뛰어난 성능을 보였다.