HyperAI超神经

近端梯度下降 Proximal Gradient Descent

近端梯度法是梯度下降方法的一种,主要用于求解目标函数不可微的最优化问题,若目标函数在某些点不可微,那么该点的梯度无法求解,传统梯度下降法无法使用。

近端梯度法是利用邻近点作为近似梯度,并以此进行梯度下降,通常被用于求解 L1 正则化。

相关概念

,其中 为凸函数, 为光滑函数,则近端梯度

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

其中有

近端梯度法流程

对于目标函数 ,其中 f0 非光滑,f1 光滑,有如下定义:

迭代 r = 0, 1, 2, …

  • 时,该式为梯度下降法
  • 时,该式为近端点法

近端梯度方法特殊实例

  • 预计 Landweber;
  • 交替投影;
  • 乘法器的交替方向法;
  • 快速迭代收缩阈值算法(FISTA)。