17일 전

원샷 모델을 이용한 신경망 아키텍처의 진화

Nilotpal Sinha, Kuan-Wen Chen
원샷 모델을 이용한 신경망 아키텍처의 진화
초록

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 특정 작업에 맞게 수작업으로 설계된 신경망 아키텍처를 대체할 수 있는 잠재력을 지닌 새로운 연구 방향으로 부상하고 있다. 기존의 진화 기반 아키텍처 탐색 방법은 높은 계산 자원을 요구하여 탐색 시간이 길다는 단점이 있었다. 본 연구에서는 이러한 문제를 해결하기 위해 단순한 유전 알고리즘을 NAS 문제에 적용하는 새로운 방법을 제안한다. 이 방법은 'EvNAS(Evolving Neural Architecture using One Shot Model)'라 명명되며, 이전의 진화 기반 방법보다 더 빠른 탐색 속도를 제공하면서도 더 우수한 성능을 달성한다. 제안된 방법에서는 하나의 한 번에 학습 가능한 모델(one-shot model)의 아키텍처 파라미터를 활용하여 아키텍처를 표현함으로써, 주어진 아키텍처 집단 내에서 가중치 공유(weight sharing)가 가능하며, 동시에 세대 간 가중치 유전(weight inheritance)도 가능하게 된다. 또한, 아키텍처 파라미터에 대한 복원(decoding) 기법을 제안하여, 대부분의 기울기 정보를 특정 아키텍처로 집중시키는 동시에, 탐색 과정 중 한 번에 학습 가능한 모델을 통한 아키텍처 성능 예측 정확도를 향상시킨다. 더불어, 검증 데이터에서 부분적으로 학습된 아키텍처의 정확도를 그 아키텍처의 적합도(fitness)를 예측하는 지표로 활용함으로써 탐색 시간을 추가로 단축시킨다. EvNAS는 CIFAR-10과 같은 대리 데이터셋(proxy dataset)을 기반으로 단일 GPU에서 4.4 GPU일(GPU-day)의 시간 동안 아키텍처를 탐색하며, 파라미터 수 363만 개로 top-1 테스트 오류율 2.47%를 달성한다. 이 아키텍처는 이후 CIFAR-100과 ImageNet으로 전이 적용되었으며, 각각 top-1 오류율 16.37%, top-5 오류율 7.4%를 기록하였다. 이러한 결과들은 진화 기반 방법이 아키텍처 탐색 문제 해결에 큰 잠재력을 지닌다는 것을 보여준다.