Proximale GradientenmethodeEs handelt sich um eine Art Gradientenabstiegsverfahren, das hauptsächlich zur Lösung von Optimierungsproblemen mit nicht differenzierbaren Zielfunktionen verwendet wird. Wenn die Zielfunktion an einigen Punkten nicht differenzierbar ist, kann der Gradient dieses Punkts nicht gelöst werden und die herkömmliche Methode des Gradientenabstiegs kann nicht verwendet werden.

Die Methode des proximalen Gradienten verwendet benachbarte Punkte als ungefähre Gradienten und führt auf ihrer Grundlage einen Gradientenabstieg durch. Es wird normalerweise zum Lösen der L1-Regularisierung verwendet.

Zugehörige Konzepte

Angenommen, $latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexf(x) = f_0(x) + f_1(x) , wobei $latex {f\mathop{{}}\nolimits\_{{0}},f\mathop{{}}\nolimits\_{{1}}}$latexf_0,f_1 konvexe Funktionen sind und $latex {f\mathop{{}}\nolimits\_{{1}}}$latexf_1 eine glatte Funktion ist, dann ist der proximale Gradient

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }} \right) }}$latex∇∼f(x) = x − prox_f_0(x − ∇f_1(x))

Darunter sind

$latex {prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits\_{{y \in X}}\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$latexprox_f_0(z) = arg min_y∈X f_0(y) + 21​∥z − y∥2

Prozess der proximalen Gradientenmethode

Für die Zielfunktion $latex {min\mathop{{}}\nolimits\_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexmin_x∈Rnf(x) = f_0(x) + f_1(x) , wobei f0 nicht glatt und f1 glatt ist, wird sie wie folgt definiert:

Iteration r = 0, 1, 2, …

latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits\_{{ \alpha \mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits\_{{0}}}}{ \left\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits\_{{1}}{ \left( {x\mathop{{}}\nolimits^{{r}}} \right) }} \right\] }}

• Wenn $latex {f\mathop{{}}\nolimits\_{{0}} \text{ }=\text{ } 0}$latexf_0 = 0, ist die Formel die Gradientenabstiegsmethode
• Wenn $latex {f\mathop{{}}\nolimits\_{{1}} \text{ }=\text{ } 0}$latexf_1 = 0, ist die Formel die proximale Endpunktmethode

Sonderfall der proximalen Gradientenmethode

• Landweber wird erwartet;
• Abwechselnde Projektion;
• Methode der Multiplikatoren mit alternierender Richtung;
• Schneller iterativer Schrumpfungsschwellenwertalgorithmus (FISTA).