Bias-Varianz-Kompromiss

In der Statistik und im maschinellen Lernen beschreibt der Bias-Varianz-Kompromiss die Beziehung zwischen der Komplexität eines Modells, seiner Vorhersagegenauigkeit und seiner Fähigkeit, Vorhersagen auf der Grundlage bisher unbekannter Daten zu treffen, die nicht zum Trainieren des Modells verwendet wurden.Generell gilt: Je mehr Parameter in einem Modell angepasst werden können, desto flexibler wird es und desto besser passt es zum Trainingsdatensatz. Bei flexibleren Modellen weist die Modellanpassung jedoch jedes Mal, wenn eine neue Stichprobe entnommen wird, um einen neuen Trainingsdatensatz zu erstellen, tendenziell eine größere Varianz auf.

Das Bias-Varianz-Dilemma oder Bias-Varianz-Problem ist der Konflikt, der entsteht, wenn man versucht, diese beiden Fehlerquellen gleichzeitig zu minimieren.Diese beiden Fehlerquellen verhindern, dass überwachte Lernalgorithmen über ihren Trainingssatz hinaus verallgemeinert werden können:

• Der Bias-Fehler ist der Fehler, der durch falsche Annahmen im Lernalgorithmus verursacht wird. Eine hohe Verzerrung kann dazu führen, dass der Algorithmus relevante Beziehungen zwischen Merkmalen und der Zielausgabe übersieht (Unteranpassung).
• Varianz ist der Fehler, der durch die Empfindlichkeit gegenüber kleinen Schwankungen im Trainingssatz verursacht wird. Algorithmen, die zufälliges Rauschen in den Trainingsdaten modellieren, können zu einer hohen Varianz (Überanpassung) führen.

Der Bias-Varianz-Kompromiss ist ein Kernproblem beim überwachten Lernen. Im Idealfall sollte ein Modell gewählt werden, das die Muster in den Trainingsdaten genau erfasst und sich gut auf unbekannte Daten übertragen lässt. Leider ist es normalerweise nicht möglich, beides gleichzeitig zu tun. Eine Lernmethode mit hoher Varianz kann ihren Trainingsdatensatz möglicherweise gut darstellen, läuft aber Gefahr, bei verrauschten oder nicht repräsentativen Trainingsdaten eine Überanpassung vorzunehmen. Umgekehrt erzeugen Algorithmen mit hoher Verzerrung oft einfachere Modelle, die möglicherweise wichtige Regelmäßigkeiten in den Daten nicht erfassen (d. h., sie weisen eine Unteranpassung auf).

Verweise

【1】https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff