17일 전

DSNAS: 파라미터 재학습 없이 직접적인 신경망 아키텍처 탐색

Shoukang Hu, Sirui Xie, Hehui Zheng, Chunxiao Liu, Jianping Shi, Xunying Liu, Dahua Lin
DSNAS: 파라미터 재학습 없이 직접적인 신경망 아키텍처 탐색
초록

만약 NAS 방법들이 해법이라면, 그 해결해야 할 문제는 무엇인가? 대부분의 기존 NAS 방법들은 두 단계의 파라미터 최적화를 필요로 한다. 그러나 같은 아키텍처가 두 단계에서 나타내는 성능 간 상관관계는 매우 낮다. 본 연구에서는 이 관찰을 바탕으로 NAS에 대한 새로운 문제 정의, 즉 작업 지향적 엔드투엔드(end-to-end) 문제 정의를 제안한다. 우리는 특정 컴퓨터 비전 작업을 수행하기 위해 NAS 방법이 요구된다면, 이 정의를 통해 모호하게 정의된 NAS 평가를 i) 해당 작업의 정확도와 ii) 만족스러운 정확도를 갖는 모델을 최종적으로 도출하기 위해 소모되는 총 계산량으로 간소화할 수 있다고 주장한다. 대부분의 기존 방법들이 이 문제를 직접 해결하지 못하고 있음을 고려하여, 낮은 편향을 갖는 몬테카를로 추정을 활용해 아키텍처와 파라미터를 동시에 최적화하는 효율적인 미분 가능한 NAS 프레임워크인 DSNAS를 제안한다. DSNAS에서 도출된 자식 네트워크(child networks)는 파라미터 재학습 없이 바로 배포가 가능하다. 두 단계 방법과 비교했을 때, DSNAS는 ImageNet에서 비교 가능한 정확도(74.4%)를 420 GPU 시간 내에 성공적으로 발견하며, 총 시간을 34% 이상 감소시켰다. 본 연구의 구현체는 https://github.com/SNAS-Series/SNAS-Series 에 공개되어 있다.