EEEA-Net: 초기 종료 진화형 신경망 아키텍처 탐색

본 연구의 목적은 계산 자원이 제한된 디바이스용 프로세서에 적합한 컨볼루셔널 신경망(CNN) 아키텍처를 탐색하고, 네트워크 아키텍처 탐색(NAS) 비용을 상당히 낮추는 것이었다. 이를 달성하기 위해 진화 알고리즘(EA)을 위한 새로운 알고리즘인 초기 종료 인구 초기화(EE-PI: Early Exit Population Initialisation)를 개발하였다. EE-PI는 탐색 과정에서 파라미터 수가 최대 기준치를 초과하는 모델을 필터링함으로써 총 파라미터 수를 줄이는 기능을 수행한다. 또한, 기준치를 초과하는 모델은 파라미터 수가 적은 새로운 모델로 대체되며, 이로 인해 성능이나 정확도를 유지하면서도 파라미터 수, 모델 저장 및 처리에 필요한 메모리 사용량, 그리고 처리 시간을 모두 감소시킬 수 있다. 탐색 시간은 0.52 GPU 일로 단축되었으며, 이는 NSGA-Net을 사용한 경우의 4 GPU 일, AmoebaNet 모델의 3,150 GPU 일, NASNet 모델의 2,000 GPU 일과 비교할 때 매우 크고 의미 있는 성과이다. 또한, 초기 종료 진화 알고리즘 네트워크(EEEA-Nets)는 주어진 데이터셋에 적합한 최소 오차와 최소 계산 비용을 갖는 네트워크 아키텍처를 제공하는 네트워크 알고리즘의 일종이다. CIFAR-10, CIFAR-100, ImageNet 데이터셋에 대해 EEEA-Net을 적용한 실험 결과, 최신 NAS 모델들 중에서 가장 낮은 오차율을 기록하였으며, 각각 CIFAR-10에서는 2.46%, CIFAR-100에서는 15.02%, ImageNet에서는 23.8%의 오차율을 달성하였다. 더 나아가, 이 이미지 인식 아키텍처를 객체 탐지, 세그멘테이션, 키포인트 탐지 등의 다양한 작업에 적용한 결과, 실험에서 EEEA-Net-C2는 모든 작업에서 MobileNet-V3를 초과하는 성능을 보였다. (알고리즘 코드는 https://github.com/chakkritte/EEEA-Net 에 공개되어 있음)