累积误差逆传播算法是误差逆传播算法的变体,它基于累积误差最小化的更新规则推出。
误差逆传播算法利用前向神经网络计算得到训练误差 ,再利用训练误差反向作用于隐层神经元,从而调整连接权和每个神经元的阈值 ,并通过不断更新使得训练误差达到最小值。
目前大多数神经网络训练基于 BP 算法,其不仅可以用于多层前馈神经网络 ,还可用于递归神经网络的训练等,但「BP 网络」一般指用 BP 算法训练的多层前馈神经网络。
前向神经网络可以看作是多个逻辑回归的组合,只是可通过隐层神经元直接获得结果,其代价函数类似逻辑函数,只不过需要对不同类别进行求和。