HyperAI超神经

结构风险 Structural Risk

结构风险是经验风险和期望风险的折中,通常结构风险是在经验风险函数后增加正则化项获得。

概念解释

  • 置信风险:未训练的分类器,对未知样本进行分类得到的误差;
  • 经验风险:训练好的分类器,对训练样本充分分类得到的误差;
  • 结构风险:置信风险 + 经验风险。

结构风险的意义

结构风险最小化是对经验风险最小化的扩展, 经验风险越小表示模型决策函数越复杂,其包含的参数越多,在经验风险函数小到一定程度时,便会出现过拟合现象。

为保证过拟合、让正则项最小化,因此需要两个最小化函数。

结构风险函数整合这两者,且保证经验风险函数和模型决策函数的复杂度最小化,后对结构风险函数进行最小化操作,就达到了优化的目的。

子级词:结构风险最小化
相关词:置信风险、经验风险