SR-Forest: 유전 프로그래밍 기반 이질적 앙상블 학습 방법

최근 몇 년간 앙상블 학습 방법은 높은 예측 성능으로 인해 머신러닝 분야에서 널리 활용되고 있다. 유전 프로그래밍 기반의 심볼릭 회귀 기법의 발전에 따라, 많은 연구 논문들이 기존의 인기 있는 앙상블 학습 방법 중 하나인 랜덤 포레스트(random forests)를 기준 경쟁자(baseline competitor)로 선택하고 있다. 그러나 이러한 방법들을 단순한 경쟁자로 보는 대신, 심볼릭 회귀를 랜덤 포레스트의 성능 향상 기법으로 간주하는 대안적인 사고가 가능하다. 유전 프로그래밍 기반의 심볼릭 회귀 기법은 매끄러운 함수를 적합시키는 특성을 지니고 있는데, 이는 결정 트리의 조각별(piecewise) 구조와 상호보완적이다. 회귀 문제에서는 매끄러운 변화가 일반적인 특징이므로, 이러한 특성은 서로 보완적이다. 본 논문에서는 이러한 문제를 해결하기 위해 심볼릭 회귀 기반의 결정 트리를 활용한 앙상블 모델을 제안한다. 또한 고차원 문제에서 탐색 속도를 향상시키기 위해 지도형 변이 연산자(guided mutation operator)를 설계하였으며, 계산 비용을 줄이기 위해 다중 신뢰도 평가 전략(multi-fidelity evaluation strategy)을 도입하고, 예측 성능을 개선하기 위해 앙상블 선택 메커니즘(ensemble selection mechanism)을 제안하였다. 마지막으로, 120개의 데이터셋으로 구성된 회귀 벤치마크에서의 실험 결과, 제안된 앙상블 모델이 기존의 25개의 심볼릭 회귀 및 앙상블 학습 방법들을 모두 초월함을 확인하였다. 더불어, 제안된 방법은 앙상블 학습 기법의 중요한 응용 분야인 XGBoost 하이퍼파라미터 성능 예측 작업에서 의미 있는 통찰을 제공할 수 있음을 확인하였다.