Bayesian Optimisation과 Optimal Transport를 이용한 Neural Architecture Search

베이지안 최적화 (Bayesian Optimisation, BO)는 함수 $f$가 점 평가를 통해만 접근 가능한 경우에 그 함수의 전역 최적화를 위한 방법론의 한 범주를 의미합니다. 이 방법은 일반적으로 $f$의 평가 비용이 큰 상황에서 사용됩니다. 기계 학습에서 BO의 일반적인 사용 사례는 모델 선택으로, 통계 모델의 일반화 성능을 해석적으로 모델링할 수 없기 때문에 가장 좋은 모델을 선택하기 위해 노이즈가 많고 비용이 큰 훈련 및 검증 절차에 의존해야 합니다. 전통적인 BO 방법들은 유클리드 공간과 범주형 영역에 초점을 맞추어, 모델 선택의 맥락에서는 기계 학습 알고리즘의 스칼라 하이퍼파라미터만 조정할 수 있었습니다. 그러나 딥 러닝에 대한 관심 증가와 함께 신경망 \emph{아키텍처}를 조정하는 수요가 점점 더 늘어나고 있습니다. 본 연구에서는 신경망 아키텍처 탐색을 위한 가우시안 프로세스 기반 BO 프레임워크인 NASBOT를 개발하였습니다. 이를 위해 신경망 아키텍처 공간에서 효율적으로 계산할 수 있는 최적 운송 프로그램(optimal transport program)을 통해 거리 메트릭(distance metric)을 개발하였습니다. 이 거리는 BO 외에도 다양한 응용 분야에서 활용될 수 있어 딥 러닝 커뮤니티에게 독립적인 관심 대상이 될 가능성이 있습니다. 우리는 NASBOT가 다층 퍼셉트론(multi-layer perceptrons)과 컨볼루션 신경망(convolutional neural networks)에서 교차 검증 기반 모델 선택 작업에서 다른 아키텍처 탐색 대안들보다 우수한 성능을 보임을 입증하였습니다.