训练误差是数据训练中出现的误差，可看作模型关于训练数据的平均损失。
训练误差与其他误差的区别
- 训练误差：模型在训练集上的误差
- 验证误差：模型在验证集上的误差
- 测试误差：模型在测试集上的误差
- 泛化误差：衡量模型的泛化性
- 综合来看，其之间的关系是：训练误差 < 验证误差 < 测试误差 ≒ 泛化误差
训练误差的作用
- 训练集：用于拟合模型，通过比较训练误差的大小，并得到模型参数；
- 最小训练误差：用于寻找特定模型，拟合相关参数；
- 测试集：用于评价模型，通过计算模型对测试集的偏差、方差情况，可最小化测试误差；
- 总结：对训练误差不考虑偏差和方差，只需最小化训练误差即可。
相关词：验证误差、测试误差、泛化误差