17일 전

샤플리-NAS: 신경망 아키텍처 탐색을 위한 연산 기여도 탐색

Han Xiao, Ziwei Wang, Zheng Zhu, Jie Zhou, Jiwen Lu
샤플리-NAS: 신경망 아키텍처 탐색을 위한 연산 기여도 탐색
초록

본 논문에서는 신경망 아키텍처 탐색(NAS)을 위한 운영 기여도 평가를 위한 셰플리 값 기반 방법(Shapley-NAS)을 제안한다. 미분 가능한 아키텍처 탐색(DARTS)은 경사 하강법을 이용해 아키텍처 파라미터를 최적화함으로써 최적의 아키텍처를 효율적으로 탐색할 수 있으며, 이는 탐색 비용을 크게 감소시킨다. 그러나 경사 하강법에 의해 업데이트되는 아키텍처 파라미터의 크기만으로는 운영 요소가 태스크 성능에 미치는 실제 중요도를 정확히 반영할 수 없으며, 이로 인해 얻어진 아키텍처의 효과성이 저하될 수 있다. 반면에, 본 연구에서는 운영 요소가 검증 정확도에 미치는 직접적인 영향을 평가하는 방식을 제안한다. 초넷 내 구성 요소들 간의 복잡한 상호관계를 다루기 위해, 모든 가능한 조합을 고려하여 마진 기여도를 정량화하기 위해 셰플리 값을 활용한다. 구체적으로, 초넷 가중치를 반복적으로 최적화하고, 셰플리 값을 통해 운영 기여도를 평가하여 아키텍처 파라미터를 업데이트함으로써, 태스크 성능 향상에 기여도가 큰 운영 요소들을 선택함으로써 최적의 아키텍처를 도출한다. 셰플리 값의 정확한 계산은 NP-난해하므로, 효율적인 근사 계산을 위해 초기 절단 기법을 적용한 몬테카를로 샘플링 기반 알고리즘을 사용하며, 샘플링 과정의 변동성을 완화하기 위해 모멘텀 업데이트 메커니즘을 도입한다. 다양한 데이터셋과 다양한 탐색 공간에서 실시한 광범위한 실험 결과, 제안하는 Shapley-NAS는 상당한 성능 우위를 보이며, 가벼운 탐색 비용으로 최신 기술을 압도한다. 코드는 https://github.com/Euphoria16/Shapley-NAS.git 에 공개되어 있다.