밀집 연결된 검색 공간을 활용한 더 유연한 신경망 구조 검색

신경망 아키텍처 검색(NAS)은 신경망 설계의 발전에 크게 기여하였습니다. 우리는 대부분의 이전 NAS 방법에서 검색 공간 설계를 재검토하고, 블록의 수와 너비가 수작업으로 설정되는 것을 발견하였습니다. 그러나 블록의 수와 너비는 네트워크 규모(깊이와 너비)를 결정하며, 정확도와 모델 비용(FLOPs/지연 시간)에 큰 영향을 미칩니다. 본 논문에서는 밀집 연결된 검색 공간을 설계하여 블록의 수와 너비를 검색하는 방법, 즉 DenseNAS를 제안합니다. 새로운 검색 공간은 우리가 설계한 라우팅 블록을 기반으로 하는 밀집 초네트워크로 표현됩니다. 초네트워크에서 라우팅 블록들은 밀집 연결되어 있으며, 최적 경로를 찾아 최종 아키텍처를 도출합니다. 또한, 검색 중 모델 비용을 근사하기 위한 체인형 비용 추정 알고리즘을 제안합니다. DenseNAS에서는 정확도와 모델 비용 모두 최적화됩니다.MobileNetV2 기반 검색 공간에서 수행한 실험 결과, DenseNAS는 단일 TITAN-XP에서 361M FLOPs와 17.9ms 지연 시간으로 ImageNet에서 75.3%의 Top-1 정확도를 달성하였습니다. 더 큰 모델에서도 DenseNAS는 479M FLOPs로 76.1%의 정확도를 달성하였습니다. 또한, DenseNAS는 ResNet-18, -34 및 -50-B의 ImageNet 분류 정확도를 각각 200M, 600M 및 680M FLOPs 감소로 1.5%, 0.5% 및 0.3% 향상시켰습니다. 관련 코드는 https://github.com/JaminFong/DenseNAS에서 제공됩니다.