近位勾配法これは、勾配降下法の一種であり、目的関数が微分不可能な点がある場合、その点の勾配を解くことができない最適化問題を解くために使用されます。下降法は使用できません。

近位勾配法は、近似勾配として近くの点を使用して勾配降下法を実行し、通常、L1 正則化を解くために使用されます。

関連概念

$latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\ としますtext{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexf(x) = f_0(x) としますtext+ f_1(x)、ここで $latex {f\mathop{{}}\nolimits\_{{ 0}},f\mathop{{}}\nolimits\_{{1}}}$latexf_0,f_1 は凸関数、$latex {f\mathop{{}}\nolimits\_{{1}}}$latexf_1 は平滑関数、近位勾配

latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\ mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\ nolimits\_{{1}}{ \left( {x} \right) }} \right) }}

その中には、

$latex {prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg \text{ }\mathop{{min}}\limits\_{{y \in X}}\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {y} \right) } \text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}} \nolimits^{{2}}}$latexprox_f_0(z) = arg min_y∈X f_0(y) + 21​∥z − y∥2

近位勾配法のプロセス

目的関数 $latex {min\mathop{{}}\nolimits\_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\ の場合text { }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\ nolimits\_ {{1}}{ \left( {x} \right) }}$latexmin_x∈Rnf(x) の場合text= f_0(x) + f nolimits_1(x)、ここで、f0 は非スムーズ、f1 はスムーズであり、次のように定義されます。

r = 0、1、2、…を反復します。

latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits\_{{ \alpha \mathop{{}}\nolimits^ {{r}}f\mathop{{}}\nolimits\_{{0}}}}{ \left\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits\_{{1}}{ \left( {x\mathop{{}}\nolimits^{{ r}}} \right) }} \right\] }}

• $latex {f\mathop{{}}\nolimits\_{{0}} \text{ }=\text{ } 0}$latexf_0 = 0 の場合、この式は勾配降下法です
• $latex {f\mathop{{}}\nolimits\_{{1}} \text{ }=\text{ } 0}$latexf_1 = 0 の場合、この式は近端点法です

近接勾配法の特殊な例

• 投影されたランドウェーバー。
• 代替投影。
• 乗算器の交互方向法。
• 高速反復縮小しきい値アルゴリズム (FISTA)。