累积误差反向传播算法是是一种神经网络算法，是误差逆传播算法的变体，它基于累积误差最小化的更新规则推出，以目标的负梯度方向对参数进行调整，目标是最小化训练误差，又被称为「反向传播算法」，使用改算法训练的多层前馈神经网络被称为「反向传播网络」。

Error Backpropagation 误差逆传播算法（BP）

误差逆传播算法利用前向神经网络计算得到训练误差 ，再利用训练误差反向作用于隐层神经元，从而调整连接权和每个神经元的阈值 ，并通过不断更新使得训练误差达到最小值。

目前大多数神经网络训练基于 BP 算法，其不仅可以用于多层前馈神经网络 ，还可用于递归神经网络的训练等，但「BP 网络」一般指用 BP 算法训练的多层前馈神经网络。

实现方法

对每个训练样例，算法执行以下操作：

• 先将输入示例提供给输入层神经元，然后逐层将信号前递，直至输出层产生结果；
• 然后计算输出层的误差，再将误差反向传播至隐层神经元；
• 最后根据隐层神经元的误差对连接权和阈值进行调整。

该迭代过程循环进行，直到达到某个停止条件为止。

前向神经网络（FP）

前向神经网络可以看作是多个逻辑回归的组合，只是可通过隐层神经元直接获得结果，其代价函数类似逻辑函数，只不过需要对不同类别进行求和。