泛化误差上界 Generalization error bound

泛化误差上界是指泛化误差允许的最大值,超过这个上界就会影响机器学习的可行性。

泛化误差是指由训练集泛化至训练集外的过程中产生的误差。一般用训练集外的误差,也即整个输入空间上的误差期望减去训练误差得到。

因为误差上界具有广泛的一般性, 推导过程中多次放大, 最终得到的上界非常松, 实际应用的意义主要在其相对值而非绝对值.

影响泛化误差的两个因素: 数据量和模型复杂度。一般会尽可能增大数据量, 而对于复杂度,需要综合考虑,为了得到最优的 性能, 需要两者之间达到一种平衡。

参考来源

【1】机器学习的泛化误差上界