近端梯度下降 Proximal Gradient Descent

近端梯度法是梯度下降方法的一种，主要用于求解目标函数不可微的最优化问题，若目标函数在某些点不可微，那么该点的梯度无法求解，传统梯度下降法无法使用。

近端梯度法是利用邻近点作为近似梯度，并以此进行梯度下降，通常被用于求解 L1 正则化。

相关概念

设 ，其中 为凸函数， 为光滑函数，则近端梯度

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

其中有

近端梯度法流程

对于目标函数 ，其中 f0 非光滑，f1 光滑，有如下定义：

迭代 r = 0, 1, 2, …

• 当 时，该式为梯度下降法
• 当 时，该式为近端点法

近端梯度方法特殊实例

• 预计 Landweber；
• 交替投影；
• 乘法器的交替方向法；
• 快速迭代收缩阈值算法（FISTA）。