신경망 아키텍처 전이

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 작업에 특화된 신경망을 자동으로 설계하는 데 있어 유망한 방향으로 부상하고 있다. 기존의 NAS 접근 방식은 하드웨어 사양이나 최적화 목표의 각각의 배포 조건마다 별도로 완전한 탐색 과정을 수행해야 하므로, 적용 사례의 수가 매우 많을 경우 계산적으로 비현실적인 문제를 야기한다. 본 논문에서는 이러한 제약을 극복하기 위해 신경망 아키텍처 전이(Neural Architecture Transfer, NAT)를 제안한다. NAT는 여러 상충되는 목적에 대해 경쟁력 있는 작업 특화 맞춤형 모델을 효율적으로 생성하도록 설계되었다. 이를 달성하기 위해, 추가적인 학습 없이도 특화된 하위 네트워크를 샘플링할 수 있는 작업 특화 슈퍼넷을 학습한다. 본 연구의 핵심은 통합된 온라인 전이 학습과 다목적 진화 탐색 절차이다. 사전 학습된 슈퍼넷은 반복적으로 적응되면서 동시에 작업 특화 하위 네트워크를 탐색한다. 우리는 NAT의 효과성을 대규모 다중 클래스부터 소규모 세부 분류 데이터셋에 이르는 11개의 기준 이미지 분류 작업에서 입증하였다. 모든 경우, 특히 ImageNet을 포함하여 모바일 환경(≤ 600M Multiply-Adds)에서 NATNets는 기존 최고 성능을 초월하였다. 놀랍게도, 소규모 세부 분류 데이터셋에서 NAT의 효과가 가장 두드러졌다. 동시에 아키텍처 탐색과 전이 과정은 기존 NAS 방법보다 수개 차수 이상 효율적이다. 종합적으로 실험 평가 결과, 다양한 이미지 분류 작업과 계산적 목적에 걸쳐 NAT는 기존 표준 데이터셋에서 학습된 네트워크 아키텍처의 가중치를 미세 조정하는 전통적인 전이 학습보다 훨씬 더 효과적인 대안임을 시사한다. 코드는 https://github.com/human-analysis/neural-architecture-transfer 에 공개되어 있다.