근위 경사법이는 경사 하강법의 일종으로, 주로 미분 불가능한 목적 함수가 있는 최적화 문제를 푸는 데 사용됩니다. 목적 함수가 어떤 지점에서 미분 가능하지 않으면, 그 지점의 기울기를 풀 수 없고, 전통적인 경사 하강법을 사용할 수 없습니다.

근위 기울기 방법은 이웃 점을 대략적인 기울기로 사용하고 이를 기반으로 경사 하강을 수행합니다. 일반적으로 L1 정규화를 해결하는 데 사용됩니다.

관련 개념

$latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexf(x) = f_0(x) + f_1(x)라고 가정합니다. 여기서 $latex {f\mathop{{}}\nolimits\_{{0}},f\mathop{{}}\nolimits\_{{1}}}$latexf_0,f_1는 볼록 함수이고 $latex {f\mathop{{}}\nolimits\_{{1}}}$latexf_1는 매끄러운 함수입니다. 그러면 근위 기울기

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }대략\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }} \right) }}$latex∇∼f(x) = x − 대략_f_0(x − ∇f_1(x))

그 중에는

$latex {prox\mathop{{}}\nolimits\_{{f\mathop{{}}\nolimits\_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits\_{{y \in X}}\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$latexprox_f_0(z) = arg min_y∈X f_0(y) + 21​∥z − y∥2

근위 경사법 프로세스

목적 함수 $latex {min\mathop{{}}\nolimits\_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits\_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits\_{{1}}{ \left( {x} \right) }}$latexmin_x∈Rnf(x) = f_0(x) + f_1(x) 의 경우, f0는 매끄럽지 않고 f1은 매끄럽습니다. 이는 다음과 같이 정의됩니다.

반복 r = 0, 1, 2, …

latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }대략\mathop{{}}\nolimits\_{{ \알파\mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits\_{{0}}}}{ \왼쪽\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \알파\mathop{{}}\nolimits^{{r}} \나블라 f\mathop{{}}\nolimits\_{{1}}{ \왼쪽( {x\mathop{{}}\nolimits^{{r}}} \오른쪽) }} \오른쪽\] }}

• $latex {f\mathop{{}}\nolimits\_{{0}} \text{ }=\text{ } 0}$latexf_0 = 0일 때, 공식은 경사 하강법입니다.
• $latex {f\mathop{{}}\nolimits\_{{1}} \text{ }=\text{ } 0}$latexf_1 = 0인 경우 공식은 근위 종료점 방법입니다.

근위 기울기 방법의 특수한 경우

• 란드베버가 기대된다.
• 교대 투영;
• 승수의 교대 방향 방법
• 빠른 반복적 수축 임계값 알고리즘(FISTA).