经验风险 Empirical risk

经验风险表示了模型对训练样本中所有样本的预测能力。对所有训练样本都求一次损失函数,再累加求平均,即可得到。

损失函数是期望风险、经验风险和结构风险的基础。

损失函数是针对单个具体的样本而言的。表示的是模型预测的值与样本真实值之间的差距。

一般在实际中会追求经验风险最小化,经验风险是对训练集中的所有样本点损失函数的平均最小化。经验风险越小说明模型对训练集的拟合程度越好。

参考来源

【1】机器学习–> 期望风险、经验风险与结构风险之间的关系