일반화된 글로벌 랭킹 인식 신경망 아키텍처 랭커를 통한 효율적인 이미지 분류기 탐색

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 효과적인 이미지 처리 DNN 설계를 자동화하는 데 유용한 도구이다. 기존의 성능 예측기 설계를 위한 효율적인 접근 방식으로 순위 매기기(ranking)가 제안되어 왔다. 기존의 대조 기반 방법은 아키텍처 쌍을 비교하여 상대적 성능을 예측함으로써 순위 문제를 해결한다. 그러나 이러한 방법은 단지 두 아키텍처 간의 순위 관계에만 초점을 맞추며, 탐색 공간 전체의 성능 분포 특성을 간과하기 때문에 일반화 능력에 한계가 있을 수 있다. 이러한 국소적 관점에 기인한 문제를 해결하기 위해, 특정 아키텍처의 전반적인 성능 등급(global quality tier)에 주목하는 새로운 예측기인 신경망 아키텍처 순위자(Neural Architecture Ranker, NAR)가 제안된다. NAR는 탐색 공간의 성능 등급을 전역적으로 탐색하여, 각 아키텍처가 전역 순위 기준에 따라 속하는 등급에 분류한다. 이를 통해 예측기는 탐색 공간 내 성능 분포에 대한 지식을 획득하게 되며, 이는 다양한 데이터셋에 대한 순위 예측 능력의 일반화를 용이하게 한다. 한편, 전역 성능 분포는 탐색 단계에서 직접 등급 통계에 기반하여 후보 아키텍처를 샘플링할 수 있도록 하여, 강화 학습(Reinforcement Learning, RL)이나 진화 알고리즘(Evolutionary Algorithm, EA)과 같은 학습 기반 탐색 알고리즘을 설계할 필요 없이 효율적인 탐색을 가능하게 한다. 이로 인해 NAS 파이프라인은 단순화되며, 계산 자원 소모도 감소한다. 제안된 NAR는 NAS 연구에 널리 사용되는 두 가지 데이터셋에서 최첨단 기법보다 우수한 성능을 달성하였다. 특히 NAS-Bench-101의 방대한 탐색 공간에서, NAR는 단순한 샘플링만으로도 상위 0.01‰ 성능을 가진 아키텍처를 쉽게 탐색할 수 있었다. 또한 NAS-Bench-201에서 다양한 이미지 데이터셋—CIFAR-10, CIFAR-100, ImageNet-16-120—에 대해 우수한 일반화 성능을 보여주며, 각 데이터셋에 대해 최적의 아키텍처를 정확히 식별하는 데 성공하였다.