累积误差逆传播 Accumulated Error Backpropagation
累积误差逆传播算法是误差逆传播算法的变体,它基于累积误差最小化的更新规则推出。
Error Backpropagation 误差逆传播算法(BP)
误差逆传播算法利用前向神经网络计算得到训练误差 ,再利用训练误差反向作用于隐层神经元,从而调整连接权和每个神经元的阈值 ,并通过不断更新使得训练误差达到最小值。
目前大多数神经网络训练基于 BP 算法,其不仅可以用于多层前馈神经网络 ,还可用于递归神经网络的训练等,但「BP 网络」一般指用 BP 算法训练的多层前馈神经网络。
BP 算法工作流程
- 输入示例提供给输入神经元,逐层将信号前传,直至产生输出层的结果
- 计算输出层误差,再将逆误差传播至隐层神经元
- 根据隐层神经元的误差来对连接权和阈值进行调整
前向神经网络(FP)
前向神经网络可以看作是多个逻辑回归的组合,只是可通过隐层神经元直接获得结果,其代价函数类似逻辑函数,只不过需要对不同类别进行求和。