训练误差 Training error

训练误差是数据训练中出现的误差,可看作模型关于训练数据的平均损失。

训练误差与其他误差的区别

  • 训练误差:模型在训练集上的误差
  • 验证误差:模型在验证集上的误差
  • 测试误差:模型在测试集上的误差
  • 泛化误差:衡量模型的泛化性
  • 综合来看,其之间的关系是:训练误差 < 验证误差 < 测试误差 ≒ 泛化误差

训练误差的作用

  • 训练集:用于拟合模型,通过比较训练误差的大小,并得到模型参数;
  • 最小训练误差:用于寻找特定模型,拟合相关参数;
  • 测试集:用于评价模型,通过计算模型对测试集的偏差、方差情况,可最小化测试误差;
  • 总结:对训练误差不考虑偏差和方差,只需最小化训练误差即可。
相关词:验证误差、测试误差、泛化误差