HyperAI超神经

Proximale GradientenmethodeEs handelt sich um eine Art Gradientenabstiegsverfahren, das hauptsächlich zur Lösung von Optimierungsproblemen mit nicht differenzierbaren Zielfunktionen verwendet wird. Wenn die Zielfunktion an einigen Punkten nicht differenzierbar ist, kann der Gradient dieses Punkts nicht gelöst werden und die herkömmliche Methode des Gradientenabstiegs kann nicht verwendet werden.

Die Methode des proximalen Gradienten verwendet benachbarte Punkte als ungefähre Gradienten und führt auf ihrer Grundlage einen Gradientenabstieg durch. Es wird normalerweise zum Lösen der L1-Regularisierung verwendet.

Zugehörige Konzepte

Angenommen, ${f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ , wobei ${f\mathop{{}}\nolimits_{{0}},f\mathop{{}}\nolimits_{{1}}}$ konvexe Funktionen sind und ${f\mathop{{}}\nolimits_{{1}}}$ eine glatte Funktion ist, dann ist der proximale Gradient

${\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

Darunter sind

${prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits_{{y \in X}}\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$

Prozess der proximalen Gradientenmethode

Für die Zielfunktion ${min\mathop{{}}\nolimits_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ , wobei f0 nicht glatt und f1 glatt ist, wird sie wie folgt definiert:

Iteration r = 0, 1, 2, …

${x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits_{{ \alpha \mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits_{{0}}}}{ \left\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x\mathop{{}}\nolimits^{{r}}} \right) }} \right\] }}$

Wenn ${f\mathop{{}}\nolimits_{{0}} \text{ }=\text{ } 0}$ , ist die Formel die Gradientenabstiegsmethode
Wenn ${f\mathop{{}}\nolimits_{{1}} \text{ }=\text{ } 0}$ , ist die Formel die proximale Endpunktmethode

Sonderfall der proximalen Gradientenmethode

Landweber wird erwartet;
Abwechselnde Projektion;
Methode der Multiplikatoren mit alternierender Richtung;
Schneller iterativer Schrumpfungsschwellenwertalgorithmus (FISTA).

Proximaler Gradientenabstieg

Zugehörige Konzepte

Prozess der proximalen Gradientenmethode

Sonderfall der proximalen Gradientenmethode