累积误差逆传播算法是误差逆传播算法的变体，它基于累积误差最小化的更新规则推出。

Error Backpropagation 误差逆传播算法（BP）

误差逆传播算法利用前向神经网络计算得到训练误差 ，再利用训练误差反向作用于隐层神经元，从而调整连接权和每个神经元的阈值 ，并通过不断更新使得训练误差达到最小值。

目前大多数神经网络训练基于 BP 算法，其不仅可以用于多层前馈神经网络 ，还可用于递归神经网络的训练等，但「BP 网络」一般指用 BP 算法训练的多层前馈神经网络。

BP 算法工作流程

1. 输入示例提供给输入神经元，逐层将信号前传，直至产生输出层的结果
2. 计算输出层误差，再将逆误差传播至隐层神经元
3. 根据隐层神经元的误差来对连接权和阈值进行调整

前向神经网络（FP）

前向神经网络可以看作是多个逻辑回归的组合，只是可通过隐层神经元直接获得结果，其代价函数类似逻辑函数，只不过需要对不同类别进行求和。