期望损失 Expected loss

期望损失是对全体样本的预测能力,是全局概念的一种;经验风险是局部概念,仅表示决策函数对训练数据集中样本的预测能力。

经验风险和期望风险

经验风险是局部的,基于训练集所有样本点损失函数最小化,经验风险局部最优,现实可求;

期望风险是全局的,基于所有样本点损失函数最小化,期望风险全局最优,理想化不可求。

参考来源

【1】机器学习优化问题-经验风险、期望风险、结构风险