Kleinste-Quadrate-Regressionsbaum

Kleinste-Quadrate-RegressionsbaumEs handelt sich um einen häufig verwendeten Regressionsbaumalgorithmus.

Um den quadratischen Fehler zu minimieren, ist es notwendig, den Wert jedes Merkmals nacheinander zu durchlaufen und den Fehler jedes möglichen Teilungspunkts zu berechnen. Wählen Sie abschließend den Punkt mit dem kleinsten Teilungsfehler aus und teilen Sie den Eingaberaum in zwei Teile. Wiederholen Sie die obigen Schritte rekursiv, bis die Aufteilung abgeschlossen ist. Der mit dieser Methode aufgeteilte Baum wird als Kleinstquadrate-Regressionsbaum bezeichnet.

Dieses Verfahren ist insbesondere bei der Suche nach Split-Punkten relativ aufwendig, da hierbei alle möglichen Werte der aktuellen Features durchlaufen werden müssen. Wenn beispielsweise insgesamt F Merkmalswerte vorhanden sind, jedes Merkmal N Werte hat und der generierte Entscheidungsbaum S interne Knoten hat, beträgt die zeitliche Komplexität des Algorithmus O (F * N * S).

Verweise

【1】CART-Klassifizierungs- und Regressionsbaum-Studiennotizen (persönlicher Blog)