제한된 GPU 시간 내에서 동적 탐색 공간에서 신경망 아키텍처 탐색 최적화: 유전자 발현 프로그래밍 접근법

최근 몇 년간 사람과 물체의 효율적 식별, 관심 영역의 세그멘테이션, 그리고 이미지, 텍스트, 음성, 영상 등 다양한 매체에서 관련 데이터를 추출하는 기술들이 급속도로 발전해 왔으며, 이는 딥러닝 기법과 함께 최근 컴퓨팅 자원의 향상이 크게 기여한 바 있다. 비록 이 기술이 높은 잠재력을 지니고 있지만, 효율적인 아키텍처 및 모듈 개발을 위해서는 전문 지식과 상당한 자원 시간이 필요하다는 점이 여전히 도전 과제로 남아 있다. 본 논문에서는 동적 탐색 공간 내에서 24 GPU 시간 이내에 효율적인 합성곱 모델을 탐색할 수 있는 진화 기반 신경망 아키텍처 탐색(NAS) 접근법을 제안한다. 효율적인 탐색 환경과 표현형 표현 방식을 갖춘 유전자 발현 프로그래밍(Gene Expression Programming)을 네트워크 셀 생성에 적합하게 활용하였다. 제한된 GPU 자원 시간과 광범위한 탐색 공간에도 불구하고, 제안한 방법은 수작업 설계된 합성곱 네트워크와 NAS를 통해 생성된 모델들과 비슷한 최첨단 성능을 달성하였으며, 유사한 제약 조건을 가진 진화 기반 NAS 연구들보다도 우수한 성능을 보였다. 다양한 실행에서 최적의 셀은 안정적인 결과를 보였으며, CIFAR-10 데이터셋에서는 평균 오류율이 2.82%로, 최고 성능 모델은 2.67%의 오류율을 기록하였고, CIFAR-100에서는 평균 오류율 18.83% (최고 모델: 18.16%)를 달성하였다. 모바일 환경에서 ImageNet에 적용한 경우, 최고 성능 모델은 top-1 오류율 29.51%, top-5 오류율 10.37%를 각각 기록하였다. 기존 진화 기반 NAS 연구들이 아키텍처 탐색 과정에서 상당한 GPU 시간이 소요된다는 보고가 있었음에도 불구하고, 본 연구는 짧은 시간 내에 희망적인 성과를 달성하였으며, 이는 진화 기반 NAS의 탐색 및 네트워크 표현 방식의 개선을 위한 추가 실험을 촉진할 수 있는 긍정적인 신호로 평가된다.