근위 경사법이는 경사 하강법의 일종으로, 주로 미분 불가능한 목적 함수가 있는 최적화 문제를 푸는 데 사용됩니다. 목적 함수가 어떤 지점에서 미분 가능하지 않으면, 그 지점의 기울기를 풀 수 없고, 전통적인 경사 하강법을 사용할 수 없습니다.

근위 기울기 방법은 이웃 점을 대략적인 기울기로 사용하고 이를 기반으로 경사 하강을 수행합니다. 일반적으로 L1 정규화를 해결하는 데 사용됩니다.

관련 개념

$latex {f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$라고 가정합니다. 여기서 $latex {f\mathop{{}}\nolimits_{{0}},f\mathop{{}}\nolimits_{{1}}}$는 볼록 함수이고 $latex {f\mathop{{}}\nolimits_{{1}}}$는 매끄러운 함수입니다. 그러면 근위 기울기

$latex {\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }대략\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

그 중에는

$latex {prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits_{{y \in X}}\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$

근위 경사법 프로세스

목적 함수 $latex {min\mathop{{}}\nolimits_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ 의 경우, f0는 매끄럽지 않고 f1은 매끄럽습니다. 이는 다음과 같이 정의됩니다.

반복 r = 0, 1, 2, …

$latex {x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }대략\mathop{{}}\nolimits_{{ \알파\mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits_{{0}}}}{ \왼쪽\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \알파\mathop{{}}\nolimits^{{r}} \나블라 f\mathop{{}}\nolimits_{{1}}{ \왼쪽( {x\mathop{{}}\nolimits^{{r}}} \오른쪽) }} \오른쪽\] }}$

• $latex {f\mathop{{}}\nolimits_{{0}} \text{ }=\text{ } 0}$일 때, 공식은 경사 하강법입니다.
• $latex {f\mathop{{}}\nolimits_{{1}} \text{ }=\text{ } 0}$인 경우 공식은 근위 종료점 방법입니다.

근위 기울기 방법의 특수한 경우

• 란드베버가 기대된다.
• 교대 투영;
• 승수의 교대 방향 방법
• 빠른 반복적 수축 임계값 알고리즘(FISTA).