HEBO: 샘플 효율적인 하이퍼파라미터 최적화의 한계를 넘어서기

본 연구에서는 블랙박스 최적화 하이퍼파라미터 튜닝 작업에 내재된 가정들을 철저히 분석한다. Bayesmark 벤치마크를 대상으로 한 실험 결과에 따르면, 이질분산성(heteroscedasticity)과 비정상성(non-stationarity)이 블랙박스 최적화 기법에 있어 중대한 과제로 작용함을 확인하였다. 이러한 발견을 바탕으로, 이질분산성과 진화적 베이지안 최적화를 고려한 HEBO(Heteroscedastic and Evolutionary Bayesian Optimisation) 솔버를 제안한다. HEBO는 비선형 입력 및 출력 왜곡(input and output warping)을 수행하며, 정확한 주변 로그우도(marginal log-likelihood) 최적화를 지원하고, 학습된 파라미터의 값에 대해 강건(robust)하다는 특징을 갖는다. 우리는 NeurIPS 2020 블랙박스 최적화 챌린지에서 HEBO가 1위를 차지함으로써, HEBO의 실증적 효율성을 입증하였다. 추가 분석을 통해, Bayesmark 벤치마크에 포함된 108개의 머신러닝 하이퍼파라미터 튜닝 작업에서 HEBO가 기존 블랙박스 최적화 기법들을 상당히 뛰어넘는 성능을 보임을 관찰하였다. 본 연구의 결과는 대부분의 하이퍼파라미터 튜닝 작업이 이질분산성과 비정상성을 특징으로 하며, 파레토 전면(Pareto front) 해를 갖는 다목적 목적 함수 앙상블이 더 우수한 탐색 구성(configuration)을 도출하며, 강건한 목적 함수 최대화 기법이 비강건한 대안들에 비해 실질적인 경험적 이점을 제공함을 시사한다. 이러한 발견들이 베이지안 최적화의 실무자들에게 지침이 되기를 기대한다. 본 연구의 모든 코드는 https://github.com/huawei-noah/HEBO 에 공개되어 있다.