Méthode du gradient proximalIl s'agit d'une sorte de méthode de descente de gradient, qui est principalement utilisée pour résoudre des problèmes d'optimisation avec des fonctions objectives non différentiables. Si la fonction objective n'est pas différentiable en certains points, le gradient de ce point ne peut pas être résolu et la méthode traditionnelle de descente de gradient ne peut pas être utilisée.

La méthode du gradient proximal utilise des points voisins comme gradients approximatifs et effectue une descente de gradient en fonction d'eux. Il est généralement utilisé pour résoudre la régularisation L1.

Concepts connexes

Supposons que $latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexf(x) = f_0(x) + f_1(x) , où $latex {f\mathop{{}}\nolimits\_{{0}},f\mathop{{}}\nolimits\_{{1}}}$latexf_0,f_1 sont des fonctions convexes et $latex {f\mathop{{}}\nolimits\_{{1}}}$latexf_1 est une fonction lisse, alors le gradient proximal

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \gauche( {x} \droite) }\texte{ }=\texte{ }x\texte{ }-\texte{ }prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \gauche( {x\texte{ }-\texte{ } \nabla f\mathop{{}}\nolimits\_{{1}}{ \gauche( {x} \droite) }} \droite) }}$latex∇∼f\gauche(x\droite)\texte=\textex\texte−\texteprox_f_0\gauche(x\texte−\texte∇f_1\gauche(x\droite)\droite)

Parmi eux se trouvent

$latex {prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \gauche( {z} \droite) }\texte{ }=\texte{ }arg\texte{ }\mathop{{min}}\limits\_{{y \dans X}}\texte{ }f\mathop{{}}\nolimits\_{{0}}{ \gauche( {y} \droite) }\texte{ }+\texte{ }\frac{{1}}{{2}}{ \gauche\Vert {z\texte{ }-\texte{ }y} \droite\Vert }\mathop{{}}\nolimits^{{2}}}$latexprox_f_0\gauche(z\droite)\texte=\textearg\textemin_y\dansX\textef_0\gauche(y\droite)\texte+\texte21​\gauche∥z\texte−\textey\droite∥2

Procédé de la méthode du gradient proximal

Pour la fonction objectif $latex {min\mathop{{}}\nolimits\_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexmin_x∈Rnf(x) = f_0(x) + f_1(x) , où f0 est non lisse et f1 est lisse, elle est définie comme suit :

Itération r = 0, 1, 2, …

latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits\_{{ \alpha \mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits\_{{0}}}}{ \gauche\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits\_{{1}}{ \gauche( {x\mathop{{}}\nolimits^{{r}}} \droite) }} \droite\] }}

• Lorsque $latex {f\mathop{{}}\nolimits\_{{0}} \text{ }=\text{ } 0}$latexf_0 = 0, la formule est la méthode de descente de gradient
• Lorsque $latex {f\mathop{{}}\nolimits\_{{1}} \text{ }=\text{ } 0}$latexf_1 = 0, la formule est la méthode du point final proximal

Cas particulier de la méthode du gradient proximal

• Landweber est attendu ;
• Projection alternée;
• Méthode de direction alternée des multiplicateurs ;
• Algorithme de seuillage de rétrécissement itératif rapide (FISTA).