효율적인 글로벌 신경망 아키텍처 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 특정 작업에 최적화된 신경망 구조를 자동으로 설계할 수 있는 가능성을 보여주고 있으나, 최적의 아키텍처를 찾기 위해 수많은 구조를 평가해야 하는 과정에서 발생하는 학습 비용으로 인해 계산적으로 매우 부담스럽다. NAS의 속도를 향상시키기 위해 최근 연구들은 전체 아키텍처를 탐색하는 글로벌 탐색 대신, 네트워크의 모듈 단위 구성 요소(모듈러 탐색)에 한정하여 탐색을 수행하고, 완전한 학습 없이 후보 아키텍처의 성능을 근사하여 평가하며, 자연스럽게 적합한 이산 최적화 기법 대신 경사 하강법을 사용한다. 그러나 모듈러 탐색은 네트워크의 매크로 아키텍처—즉, 깊이와 너비—를 결정하지 못하므로 탐색 이후 수동적인 시도와 오류를 통해 조정이 필요하여 자동화의 측면에서 한계가 있다. 본 연구에서는 NAS를 재검토하고, 탐색이 가능하면서도 아키텍처 다양성이 높은 매크로-마이크로 탐색 공간을 설계한다. 또한, 후보 구조 간 상대 순위를 결정하기 위해 기존 방법들은 전체 탐색 공간에 걸쳐 일관된 근사를 사용하지만, 동일한 학습 프로토콜 하에서 서로 다른 네트워크는 공정하게 비교되기 어려울 수 있다. 따라서 본 연구는 각 네트워크에 맞는 다양한 학습 방식을 적용하는 아키텍처 인지형 근사 기법을 제안한다. 더불어, 매크로-마이크로 네트워크 설계를 분리하여 효율적인 탐색 전략을 개발함으로써 정확도와 크기 측면에서 경쟁력 있는 아키텍처를 도출한다. 제안하는 프레임워크는 EMNIST 및 KMNIST 데이터셋에서 새로운 최고 성능을 달성하였으며, CIFAR-10, CIFAR-100, FashionMNIST 데이터셋에서도 뛰어난 성능을 보이며, 가장 빠른 글로벌 탐색 방법보다 2~4배 빠른 속도를 기록한다. 마지막으로, 얼굴 인식 응용 분야에 대한 경쟁력 있는 아키텍처를 탐색함으로써 본 프레임워크가 실제 컴퓨터 비전 문제에 적용 가능한 전이 가능성(transferability)을 실험적으로 입증한다.