مشكلة التدرج المتلاشي

مشكلة التدرج المتلاشييحدث هذا بشكل أساسي في الشبكات العصبية الاصطناعية المدربة باستخدام الانحدار التدريجي والانتشار الخلفي. في تكرارات طرق التدريب هذه، تكون القيمة المحدثة لأوزان الشبكة العصبية متناسبة مع تدرج دالة الخطأ، ولكن قيمة التدرج تختفي تقريبًا في بعض الحالات، وبالتالي لا يمكن تحديث الأوزان بشكل فعال ولا يمكن الاستمرار في تدريب الشبكة العصبية.

في وظائف التنشيط التقليدية، مثل دالة الظل الزائدي، تكون قيمة التدرج في نطاق (0، 1)، ولكن الانتشار الخلفي يحسب التدرج من خلال قاعدة السلسلة. عندما تحسب هذه الطريقة تدرج الطبقة السابقة، فإن ذلك يعادل ضرب N رقمًا أصغر، مما يجعل التدرج يتناقص بشكل أسي مع N، مما يؤدي إلى تدريب أبطأ للطبقات السابقة.