LayerNAS: 다항 복잡도 내의 신경망 아키텍처 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 특히 대상 하드웨어에 최적화된 효과적인 모델 아키텍처를 탐색하는 데 있어 널리 사용되는 방법으로 부상하였다. 이러한 맥락에서 제약 조건 하에서 최적의 아키텍처를 찾는 NAS 기법은 매우 중요하다. 본 논문에서는 다목적 NAS의 도전 과제를 해결하기 위해, 이를 조합 최적화 문제로 변환하는 LayerNAS를 제안한다. 이는 탐색 복잡도를 다항식 수준으로 효과적으로 제한한다.$L$개의 레이어를 가진 모델 아키텍처에 대해, LayerNAS는 각 레이어에 대해 레이어 단위로 탐색을 수행하며, 탐색 옵션 집합 $\mathbb{S}$에서 선택한다. LayerNAS는 모델 후보들을 모델 크기나 지연 시간과 같은 하나의 목표 기준에 따라 그룹화하고, 다른 목표 기준에 따라 최적의 모델을 탐색함으로써 탐색의 비용과 보상 요소를 분리한다. 이 방법은 탐색 복잡도를 $O(H \cdot |\mathbb{S}| \cdot L)$로 제한하며, 여기서 $H$는 LayerNAS 내에서 고정된 상수이다.실험 결과, LayerNAS는 NATS-Bench, MobileNetV2, MobileNetV3에서 유도된 다양한 탐색 공간에서 강력한 기준 모델들과 비교해 일관되게 우수한 모델을 탐색할 수 있음을 확인하였다.