BANANAS: 신경 아키텍처 탐색을 위한 신경 아키텍처를 활용한 베이지안 최적화

지난 5년간 신경망 아키텍처 탐색(NAS)을 위한 다양한 방법이 제안되어 왔다. 오랜 기간 하이퍼파라미터 최적화에서 성공을 거둔 베이지안 최적화(BO)는 최근 신경망 예측기와 결합될 때 NAS에 매우 유망한 전략으로 부상하고 있다. 최근 연구들은 이 프레임워크의 다양한 구현 사례를 제안하였으며, 예를 들어 베이지안 신경망이나 그래프 컨볼루션 네트워크를 BO 내의 예측 모델로 사용하는 방식이 있다. 그러나 이러한 논문들의 분석은 일반적으로 완전한 NAS 알고리즘에 초점이 맞춰져 있어, 프레임워크 내의 각 개별 구성 요소 중 어떤 것이 최고의 성능을 이끌어내는지 파악하기 어렵다.본 연구에서는 ‘BO + 신경망 예측기’ 프레임워크를 체계적으로 분석하기 위해 다섯 가지 주요 구성 요소를 식별한다: 아키텍처 인코딩, 신경망 예측기, 불확실성 캘리브레이션 방법, 획득 함수, 획득 함수 최적화 전략. 각 구성 요소에 대해 여러 가지 다른 방법을 실험하였으며, 기존 인코딩 방식보다 이론적·실험적으로 더 우수한 확장성(스케일링)을 보이는 새로운 경로 기반 인코딩 방식을 제안한다. 본 연구의 모든 분석을 종합하여, NAS 탐색 공간에서 최신 기술 수준(SOTA)의 성능을 달성하는 최종 알고리즘인 BANANAS를 개발하였다. 연구의 투명성과 재현 가능성을 확보하기 위해 NAS 연구 체크리스트(Lindauer와 Hutter, 2019)를 준수하였으며, 코드는 https://github.com/naszilla/naszilla 에 공개되어 있다.