结构风险最小化是机器学习中的归纳原理,常被用于防止过拟合的策略。
SRM 原理
结构风险 = 经验风险 + 置信风险
优化理论中,最小结构化风险主要是样本上的经验风险,在考虑防止过拟合的前提下,可以通过添加正则项以最小化置信风险。
在样本容量足够大的情况下,经验风险趋近于结构风险,由于经验风险最小化可保证学习效果,因此其在现实中被广泛使用。
SRM 应用
贝叶斯估计中,最大后验概率估计即结构化风险最小化。
其中模型遵从条件概率分布,损失函数为对数损失函数,模型的复杂度由模型先验概率表示,结构风险最小化即最大后验概率估计。
相关词:结构风险、经验风险最小化