SR-Forest: Ein auf genetischem Programmieren basierender heterogener Ensemble-Lernansatz

Ensemble-Lernmethoden werden in den letzten Jahren aufgrund ihrer hohen Vorhersageleistung weithin in der maschinellen Lernforschung eingesetzt. Mit der Entwicklung genetischer Programmierung-basierter symbolischer Regressionsmethoden beginnen zahlreiche Arbeiten, eine etablierte Ensemble-Lernmethode – die Random Forests – als Baseline-Konkurrenten zu wählen. Anstatt diese Ansätze als Konkurrenten zu betrachten, könnte man stattdessen die symbolische Regression als Verbesserungstechnik für Random Forests interpretieren. Genetik-Programmierung-basierte symbolische Regressionsmethoden, die glatte Funktionen anpassen, ergänzen sich komplementär zur stückweisen Struktur von Entscheidungsbäumen, da glatte Variationen in Regressionsproblemen häufig auftreten. In diesem Artikel schlagen wir vor, ein Ensemble-Modell aus symbolischen Regressions-basierten Entscheidungsbäumen zu konstruieren, um dieses Problem anzugehen. Darüber hinaus entwickeln wir einen geführten Mutationsoperator, um die Suche bei hochdimensionalen Problemen zu beschleunigen, eine Multi-Fidelity-Auswertungsstrategie zur Reduktion der Rechenkosten und ein Ensemble-Auswahlmechanismus zur Verbesserung der Vorhersageleistung. Experimentelle Ergebnisse auf einer Regressions-Benchmark-Sammlung mit 120 Datensätzen zeigen, dass das vorgeschlagene Ensemble-Modell 25 bestehende symbolische Regressions- und Ensemble-Lernmethoden übertrifft. Zudem ermöglicht die vorgeschlagene Methode wertvolle Erkenntnisse bei einer Aufgabe zur Vorhersage der Leistung von Hyperparametern in XGBoost, einem bedeutenden Anwendungsgebiet von Ensemble-Lernmethoden.