18일 전

학습이 없는 평가를 가진 파이어플라이 알고리즘과의 혼합을 통한 신경망 아키텍처 탐색 개선

{Pierre De Loor, Marlène Gilles, Alexis Nédélec, Nassim Mokhtari}
초록

신경망 아키텍처 탐색(Neural Architecture Search, NAS) 알고리즘은 심층 신경망의 설계를 자동화하는 데 사용된다. 주어진 데이터셋에 가장 적합한 아키텍처를 찾기 위해서는 이러한 알고리즘이 수많은 네트워크를 탐색하고, 각각의 성능에 따라 점수를 매겨 가장 적절한 모델을 선정해야 하므로 시간이 오래 걸릴 수 있다. 본 연구에서는 아직 훈련되지 않은 모델이 데이터 간의 구분 능력을 얼마나 잘 갖추고 있는지를 평가하기 위해 내부 클러스터 거리(Intra-Cluster Distance, ICD) 점수를 활용하는 새로운 평가 지표를 제안한다. 또한, 기존의 파이어플라이(FireFly) 알고리즘보다 국소 최적값 문제에 더 강건한 개선된 파이어플라이 알고리즘을 탐색 기법으로 사용하여 특정 데이터셋에 적합한 최적의 신경망 모델을 탐색한다. 다양한 NAS 벤치마크에서 수행한 실험 결과, 제안하는 지표가 CNN과 RNN 모두에 대해 유효한 점수를 제공함을 확인하였으며, 제안하는 파이어플라이 알고리즘이 최신의 훈련 없이 모델을 평가하는 기법들보다 더 우수한 성능을 달성할 수 있음을 입증하였다.