期望损失是对全体样本的预测能力,是全局概念的一种;经验风险是局部概念,仅表示决策函数对训练数据集中样本的预测能力。
经验风险是局部的,基于训练集所有样本点损失函数最小化,经验风险局部最优,现实可求;
期望风险是全局的,基于所有样本点损失函数最小化,期望风险全局最优,理想化不可求。
【1】机器学习优化问题-经验风险、期望风险、结构风险