近端梯度法是梯度下降方法的一种，主要用于求解目标函数不可微的最优化问题，若目标函数在某些点不可微，那么该点的梯度无法求解，传统梯度下降法无法使用。

近端梯度法是利用邻近点作为近似梯度，并以此进行梯度下降，通常被用于求解 L1 正则化。

相关概念

设 $latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ ，其中 $latex {f\mathop{{}}\nolimits_{{0}},f\mathop{{}}\nolimits_{{1}}}$ 为凸函数， $latex {f\mathop{{}}\nolimits_{{1}}}$ 为光滑函数，则近端梯度

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

其中有

$latex {prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits_{{y \in X}}\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$

近端梯度法流程

对于目标函数 $latex {min\mathop{{}}\nolimits_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ ，其中 f0 非光滑，f1 光滑，有如下定义：

迭代 r = 0, 1, 2, …

$latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits_{{ \alpha \mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits_{{0}}}}{ \left\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x\mathop{{}}\nolimits^{{r}}} \right) }} \right\] }}$

• 当 $latex {f\mathop{{}}\nolimits_{{0}} \text{ }=\text{ } 0}$ 时，该式为梯度下降法
• 当 $latex {f\mathop{{}}\nolimits_{{1}} \text{ }=\text{ } 0}$ 时，该式为近端点法

近端梯度方法特殊实例

• 预计 Landweber；
• 交替投影；
• 乘法器的交替方向法；
• 快速迭代收缩阈值算法（FISTA）。