偏差-方差分解 Bias-variance Decomposition

「偏差-方差分解」是从偏差和方差的角度解释学习算法泛化性能的工具，具体定义如下：

假设存在 K 个数据集，每个数据集都是从一个分布 p(t,x) 中独立的抽取出来的 (t 代表要预测的变量，x 代表特征变量) 。

在不同的数据集上进行训练可以得到不同的模型，学习算法的性能是根据在这 K 个数据集上训练得到的 K 个模型的平均性能来衡量的，即：

其中的 h(x) 代表生成数据的真实函数，亦即 t=h(x) 。