HyperAI超神经

طريقة التدرج القريبإنها نوع من طريقة الانحدار التدرجي، والتي تستخدم بشكل أساسي لحل مشاكل التحسين باستخدام وظائف الهدف غير القابلة للاشتقاق. إذا لم تكن دالة الهدف قابلة للاشتقاق عند بعض النقاط، فلا يمكن حل تدرج تلك النقطة ولا يمكن استخدام طريقة الانحدار التدرجي التقليدية.

تستخدم طريقة التدرج القريب النقاط المجاورة كتدرجات تقريبية وتنفذ نزول التدرج بناءً عليها. يتم استخدامه عادة لحل تسوية L1.

المفاهيم ذات الصلة

افترض أن ${f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{{1}}{ \left( {x} \right) }}$ ، حيث أن ${f\mathop{{}}\nolimits_{{{0}},f\mathop{{}}\nolimits_{{{1}}}$ هي دوال محدبة و ${f\mathop{{}}\nolimits_{{{1}}}$ هي دالة سلسة، فإن التدرج القريب

${\mathop{{ \nabla }}\limits^{ \sim }f{ \left( {x} \right) }\text{ }=\text{ }x\text{ }-\text{ }prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{0}}}}{ \left( {x\text{ }-\text{ } \nabla f\mathop{{}}\nolimits_{{1}}{ \left( {x} \right) }} \right) }}$

ومن بينهم

${prox\mathop{{}}\nolimits_{{f\mathop{{}}\nolimits_{{{0}}}}{ \left( {z} \right) }\text{ }=\text{ }arg\text{ }\mathop{{min}}\limits_{{y \in X}}\text{ }f\mathop{{}}\nolimits_{{0}}{ \left( {y} \right) }\text{ }+\text{ }\frac{{1}}{{2}}{ \left\Vert {z\text{ }-\text{ }y} \right\Vert }\mathop{{}}\nolimits^{{2}}}$

عملية طريقة التدرج القريب

بالنسبة لدالة الهدف ${min\mathop{{}}\nolimits_{{x \in R\mathop{{}}\nolimits^{{n}}}}f{ \left( {x} \right) }\text{ }=\text{ }f\mathop{{}}\nolimits_{{{0}}{ \left( {x} \right) }\text{ }+\text{ }f\mathop{{}}\nolimits_{{{1}}{ \left( {x} \right) }}$ ، حيث f0 غير ناعمة وf1 ناعمة، يتم تعريفها على النحو التالي:

التكرار r = 0، 1، 2، …

${x\mathop{{}}\nolimits^{{r+1}}\text{ }=\text{ }prox\mathop{{}}\nolimits_{{ \alpha \mathop{{}}\nolimits^{{r}}f\mathop{{}}\nolimits_{{{0}}}}{ \left\[ {x\mathop{{}}\nolimits^{{r}}\text{ }-\text{ } \alpha \mathop{{}}\nolimits^{{r}} \nabla f\mathop{{}}\nolimits_{{{1}}{ \left( {x\mathop{{}}\nolimits^{{r}}} \right) }} \right\] }}$

عندما يكون ${f\mathop{{}}\nolimits_{{0}} \text{ }=\text{ } 0}$ ، تكون الصيغة هي طريقة الانحدار المتدرج
عندما يكون ${f\mathop{{}}\nolimits_{{1}} \text{ }=\text{ } 0}$ ، تكون الصيغة هي طريقة نقطة النهاية القريبة

حالة خاصة لطريقة التدرج القريب

ومن المتوقع أن يصل لاندويبر؛
الإسقاط المتناوب؛
طريقة الاتجاه المتناوب للمضاعفات؛
خوارزمية عتبة الانكماش التكرارية السريعة (FISTA).

نزول التدرج القريب

المفاهيم ذات الصلة

عملية طريقة التدرج القريب

حالة خاصة لطريقة التدرج القريب