2달 전

ProxylessNAS: 대상 작업 및 하드웨어에서 직접적인 신경망 아키텍처 검색

Han Cai; Ligeng Zhu; Song Han
ProxylessNAS: 대상 작업 및 하드웨어에서 직접적인 신경망 아키텍처 검색
초록

신경망 구조 탐색(Neural Architecture Search, NAS)은 효과적인 신경망 구조를 자동으로 설계함으로써 큰 영향을 미칩니다. 그러나 기존 NAS 알고리즘의 금지적인 계산 요구($10^4$ GPU 시간 등)는 대규모 작업(예: ImageNet)에서 \emph{직접적으로} 구조를 탐색하는 것을 어렵게 만듭니다. 미분 가능한 NAS(Differentiable NAS)는 네트워크 구조의 연속적 표현을 통해 GPU 시간 비용을 줄일 수 있지만, 후보 집합 크기에 따라 선형적으로 증가하는 높은 GPU 메모리 소비 문제를 겪습니다. 그 결과, 이들은 작은 데이터셋에서 학습하거나 몇 개의 블록만 사용하여 학습하거나 몇 에포크만 학습하는 등의 \emph{대체} 작업을 활용해야 합니다. 이러한 대체 작업에서 최적화된 구조가 목표 작업에서 최적이란 보장이 없습니다. 본 논문에서는 \emph{ProxylessNAS}를 제시합니다. 이 방법은 대규모 목표 작업과 목표 하드웨어 플랫폼에 대해 \emph{직접적으로} 구조를 학습할 수 있습니다. 우리는 미분 가능한 NAS의 높은 메모리 소비 문제를 해결하고, 여전히 큰 후보 집합을 허용하면서 일반적인 학습과 동일한 수준의 계산 비용(GPU 시간 및 GPU 메모리)을 줄이는 방법을 제안합니다. CIFAR-10와 ImageNet에서 수행한 실험은 직접성과 특화의 효과성을 입증합니다. CIFAR-10에서 우리의 모델은 5.7M 파라미터로 2.08\%의 테스트 오류율을 달성하며, 이는 기존 최고 성능 구조인 AmoebaNet-B보다 6배 적은 파라미터를 사용하면서도 더 우수한 성능입니다. ImageNet에서는 우리의 모델이 MobileNetV2보다 3.1\% 더 높은 Top-1 정확도를 달성하며, 측정된 GPU 지연 시간 측면에서 1.2배 더 빠릅니다. 또한 우리는 ProxylessNAS를 하드웨어 지표(예: 지연 시간)에 직접 적용하여 효율적인 CNN 구조 설계에 대한 통찰력을 제공합니다.