Ein evolutionärer Wald für die Regression

Der Random Forest (RF) ist eine auf Ensembles basierende Methode des maschinellen Lernens, die in den letzten Jahren vielfältig in verschiedenen Aufgaben des maschinellen Lernens eingesetzt wurde. In diesem Artikel wird ein evolutionärer Ansatz vorgestellt, um einen schrägen Random Forest für Regressionsprobleme zu generieren. Genauer gesagt leitet unsere Methode einen schrägen Random Forest durch die Transformation des ursprünglichen Merkmalsraums in einen neuen Merkmalsraum mittels eines evolutionären Merkmalskonstruktionsverfahrens ab. Um den Suchprozess zu beschleunigen, bewertet das vorgeschlagene Verfahren jeweils einen Merkmalsset basierend auf einem Entscheidungsbaum (DT), anstatt auf einem gesamten Random Forest. Um schließlich einen Random Forest zu erhalten, werden während des Suchprozesses die leistungsstärksten Merkmalskombinationen sowie die zugehörigen Bäume archiviert. Auf diese Weise können sowohl die Merkmale als auch der gesamte Wald in einem einzigen Durchlauf gleichzeitig konstruiert werden. Der vorgeschlagene evolutionäre Wald wird auf 117 Benchmark-Aufgaben mit unterschiedlichen Eigenschaften angewandt und mit mehreren state-of-the-art-Methoden zur Regression verglichen, darunter verschiedene Varianten des Random Forests und Gradient Boosted Decision Trees (GBDTs). Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode die bestehenden RF- und GBDT-Methoden übertrifft.