偏差-方差权衡 Bias-variance Tradeoff

在统计学和机器学习中，偏差-方差权衡 (Bias-variance tradeoff) 描述了模型的复杂性、预测的准确性以及它对以前未见过的未用于训练模型的数据进行预测的能力之间的关系。一般来说，当增加模型中可调参数的数量时，它就会变得更加灵活，并且可以更好地拟合训练数据集。然而对于更灵活的模型，每次采用一种样本来创建新的训练数据集时，模型拟合往往会出现更大的方差。

偏差-方差困境或偏差-方差问题是试图同时最小化这两个误差源的冲突，这两个误差源阻止监督学习的算法泛化到其训练集之外：

• 偏差误差是学习算法中错误假设造成的误差。高偏差可能会导致算法错过特征和目标输出之间的相关关系（欠拟合）。
• 方差是对训练集中小波动的敏感性产生的误差。对训练数据中的随机噪声进行建模的算法可能会导致高方差（过度拟合）。

偏差-方差权衡是监督学习中的一个核心问题。理想情况下是选择一个模型，既能够准确地捕捉训练数据中的规律，又能够很好地泛化到未见过的数据。不幸的是，通常不可能同时做到这两点。高方差的学习方法可能能够很好地表示其训练集，但存在过度拟合到嘈杂或不具代表性的训练数据的风险。相反，具有高偏差的算法通常会产生更简单的模型，可能无法捕获数据中的重要规律性（即欠拟合）。

参考来源

【1】https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff