近端梯度下降 Proximal Gradient Descent
近端梯度法是梯度下降方法的一种,主要用于求解目标函数不可微的最优化问题,若目标函数在某些点不可微,那么该点的梯度无法求解,传统梯度下降法无法使用。
近端梯度法是利用邻近点作为近似梯度,并以此进行梯度下降,通常被用于求解 L1 正则化。
相关概念
设 ,其中
为凸函数,
为光滑函数,则近端梯度
$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$
其中有
近端梯度法流程
对于目标函数 ,其中 f0 非光滑,f1 光滑,有如下定义:
迭代 r = 0, 1, 2, …
- 当
时,该式为梯度下降法
- 当
时,该式为近端点法
近端梯度方法特殊实例
- 预计 Landweber;
- 交替投影;
- 乘法器的交替方向法;
- 快速迭代收缩阈值算法(FISTA)。