HyperAI超神经

结构风险最小化 Structural Risk Minimization

结构风险最小化是机器学习中的归纳原理,常被用于防止过拟合的策略。

SRM 原理

结构风险 = 经验风险 + 置信风险

优化理论中,最小结构化风险主要是样本上的经验风险,在考虑防止过拟合的前提下,可以通过添加正则项以最小化置信风险。

在样本容量足够大的情况下,经验风险趋近于结构风险,由于经验风险最小化可保证学习效果,因此其在现实中被广泛使用。

SRM 应用

贝叶斯估计中,最大后验概率估计即结构化风险最小化。

其中模型遵从条件概率分布,损失函数为对数损失函数,模型的复杂度由模型先验概率表示,结构风险最小化即最大后验概率估计。

相关词:结构风险、经验风险最小化