Décomposition Biais-variance

La décomposition biais-variance est un outil permettant d'expliquer les performances de généralisation d'un algorithme d'apprentissage du point de vue du biais et de la variance. Il est défini comme suit :

Supposons qu'il existe K ensembles de données, chacun d'entre eux étant extrait indépendamment d'une distribution p(t,x) (t représente la variable à prédire et x représente la variable caractéristique).

Différents modèles peuvent être obtenus en s'entraînant sur différents ensembles de données. La performance de l'algorithme d'apprentissage est mesurée par la performance moyenne des K modèles entraînés sur ces K ensembles de données, soit :

Ici, h(x) représente la vraie fonction qui génère les données, c'est-à-dire t=h(x).