تعريف الانتشار العكسي

الانتشار الخلفي، وهو اختصار لـ "الانتشار الخلفي للخطأ"، هو أسلوب شائع يستخدم بالتزامن مع طرق التحسين لتدريب الشبكات العصبية الاصطناعية. تقوم هذه الطريقة بحساب تدرج دالة الخسارة لجميع الأوزان في الشبكة.

يتم إرجاع هذا التدرج إلى طريقة التحسين لتحديث الأوزان لتقليل دالة الخسارة.

تتطلب عملية الانتشار العكسي الحصول على الناتج المطلوب المعروف لكل قيمة إدخال لحساب تدرج دالة الخسارة. إنه تعميم لقاعدة دلتا لشبكات التغذية الأمامية متعددة الطبقات. يمكن استخدام قاعدة السلسلة لحساب تدرج كل طبقة بشكل متكرر. تتطلب عملية الانتشار العكسي أن تكون وظيفة تنشيط الخلية العصبية الاصطناعية (أو "العقدة") قابلة للتفاضل.

مرحلة الانتشار الخلفي

تتكون خوارزمية الانتشار الخلفي بشكل أساسي من مرحلتين: انتشار الحافز وتحديث الوزن.

المرحلة الأولى: تحفيز النشر

تتكون مرحلة الانتشار في كل تكرار من خطوتين:

(مرحلة الانتشار الأمامي) قم بإدخال مدخلات التدريب إلى الشبكة للحصول على استجابة التحفيز؛

(مرحلة الانتشار العكسي) اطرح استجابة الحافز من الناتج المستهدف المقابل لمدخلات التدريب للحصول على خطأ الاستجابة لطبقة الناتج والطبقة المخفية.

المرحلة الثانية: تحديث الوزن

بالنسبة لكل وزن مشبكي، يتم إجراء التحديث على النحو التالي:

اضرب حافز الإدخال وخطأ الاستجابة للحصول على تدرج الوزن؛

اضرب هذا التدرج في المقياس، ثم اعكسه، وأضفه إلى الوزن.

ستؤثر هذه النسبة على سرعة وتأثير عملية التدريب. يشير اتجاه التدرج إلى الاتجاه الذي يتوسع فيه الخطأ. لذلك، يجب نفي ذلك عند تحديث الأوزان لتقليل الخطأ الناتج عن الأوزان.

يمكن تكرار المرحلتين 1 و2 بشكل متكرر حتى تصل استجابة الشبكة للمدخلات إلى نطاق هدف محدد مسبقًا ومرضي.

حدود الانتشار العكسي

وقد تتقارب النتائج إلى قيمة متطرفة. إذا كان هناك حد أدنى واحد فقط، فإن استراتيجية "تسلق التل" للنزول التدريجي سوف تنجح بالتأكيد؛

يمكن للنزول التدريجي العثور على الحد الأدنى المحلي بدلاً من الحد الأدنى العالمي؛

إن التقارب الذي يتم الحصول عليه من التعلم بالانتشار الخلفي يكون بطيئًا؛

لا يتم ضمان تقارب التعلم بالانتشار الخلفي؛

لا يتطلب التعلم بالانتشار الخلفي تطبيع متجهات الإدخال؛ ومع ذلك، فإن التطبيع يمكن أن يحسن الأداء.