HyperAI超神经

근위 경사법이는 경사 하강법의 일종으로, 주로 미분 불가능한 목적 함수가 있는 최적화 문제를 푸는 데 사용됩니다. 목적 함수가 어떤 지점에서 미분 가능하지 않으면, 그 지점의 기울기를 풀 수 없고, 전통적인 경사 하강법을 사용할 수 없습니다.

근위 기울기 방법은 이웃 점을 대략적인 기울기로 사용하고 이를 기반으로 경사 하강을 수행합니다. 일반적으로 L1 정규화를 해결하는 데 사용됩니다.

근위 경사법 프로세스

목적 함수 ${min\mathop{{}}\nolimits_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }}$ 의 경우, f0는 매끄럽지 않고 f1은 매끄럽습니다. 이는 다음과 같이 정의됩니다.

반복 r = 0, 1, 2, …

${x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }대략\mathop{{}}\nolimits_{{ \알파\mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits_{{0}}}}{ \왼쪽\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \알파\mathop{{}}\nolimits^{{r}} \나블라 f\mathop{{}}\nolimits_{{1}}{ \왼쪽( {x\mathop{{}}\nolimits^{{r}}} \오른쪽) }} \오른쪽\] }}$

${f\mathop{{}}\nolimits_{{0}} \text{ }=\text{ } 0}$ 일 때, 공식은 경사 하강법입니다.
${f\mathop{{}}\nolimits_{{1}} \text{ }=\text{ } 0}$ 인 경우 공식은 근위 종료점 방법입니다.

근위 기울기 방법의 특수한 경우

란드베버가 기대된다.
교대 투영;
승수의 교대 방향 방법
빠른 반복적 수축 임계값 알고리즘(FISTA).

근위 경사 하강

관련 개념

근위 경사법 프로세스

근위 기울기 방법의 특수한 경우