Le dilemme biais-variance signifie qu’il est impossible de réduire à la fois le biais et la variance, et que l’on ne peut parvenir qu’à un équilibre entre les deux.

Dans le modèle, si vous souhaitez réduire l’écart, vous augmenterez la complexité du modèle pour éviter le sous-ajustement ; mais en même temps, vous ne pouvez pas rendre le modèle trop complexe, ce qui augmenterait la variance et provoquerait un surajustement. Il nous faut donc trouver un point d’équilibre dans la complexité du modèle, qui peut être représenté par la figure suivante :