HyperAI超神经

解析梯度

解析梯度是参数梯度的计算方法,通常指利用反向传播计算神经网络算法中目标函数的参数梯度。

目前计算梯度主要有两种方式:

  • 数值梯度 Numerical Gradient
  • 解析梯度 Analytic Gradient