Bias-Varianz-Zerlegung

Die Bias-Varianz-Zerlegung ist ein Werkzeug zur Erklärung der Generalisierungsleistung eines Lernalgorithmus aus der Perspektive von Bias und Varianz. Es ist wie folgt definiert:

Angenommen, es gibt K Datensätze, von denen jeder unabhängig aus einer Verteilung p(t,x) extrahiert wird (t stellt die vorherzusagende Variable dar und x stellt die Merkmalsvariable dar).

Durch Training mit unterschiedlichen Datensätzen können unterschiedliche Modelle erstellt werden. Die Leistung des Lernalgorithmus wird anhand der durchschnittlichen Leistung der K Modelle gemessen, die anhand dieser K Datensätze trainiert wurden, d. h.:

Hier stellt h(x) die wahre Funktion dar, die die Daten generiert, d. h. t=h(x).