وظيفة التنشيط
تعريف دالة التنشيط
دالة التنشيط هي دالة تعمل على الخلية العصبية في الشبكة العصبية وهي مسؤولة عن ربط مدخلات الخلية العصبية بمخرجاتها.
إنه يتيح لنموذج الشبكة العصبية أن يتمتع بالقدرة على التمايز غير الخطي.أيتقريب أي دالة غير خطية. وهذا يسمح بتطبيق نماذج الشبكة العصبية على مجموعة واسعة من النماذج غير الخطية.
إن وجودها يمكّن نموذج الشبكة العصبية من التمييز بين الوظائف غير الخطية، مما يسمح أيضًا بتطبيق نموذج الشبكة العصبية على العديد من النماذج غير الخطية.
خصائص دالة التنشيط
غير خطيبالنسبة لوظائف التنشيط الخطية، يمكن للشبكة العصبية ذات الطبقتين تلبية جميع الوظائف تقريبًا؛ لكن هذا الشرط لا ينطبق على دالة تنشيط الهوية. إذا استخدمت MLP نفس وظيفة التنشيط، فإن الشبكة العصبية بأكملها تعادل شبكة عصبية ذات طبقة واحدة.
القابلية للتمايز:يلعب دورًا مهمًا في طرق التحسين القائمة على التدرج. (قابلة للاشتقاق تعني أن الدالة قابلة للاشتقاق في جميع الاتجاهات، وقابلة للاشتقاق أكبر من أو تساوي قابلة للاشتقاق)
الرتابة: عندما تكون دالة التنشيط دالة رتيبة، تظهر الشبكة أحادية الطبقة كدالة محدبة.
f(x)≈x:عندما تلبي دالة التنشيط هذه الصيغة، تكون معلمة التهيئة عبارة عن قيمة عشوائية صغيرة جدًا، ثم يتم تحسين كفاءة تدريب الشبكة العصبية؛ ولكن عندما لا يلبي هذه الصيغة، فمن الضروري تعيين القيمة الأولية على وجه التحديد.
نطاق قيمة الإخراج:عندما تكون قيمة خرج دالة التنشيط محدودة، ستكون طريقة التحسين القائمة على التدرج أكثر استقرارًا؛ عندما تكون قيمة خرج دالة التنشيط غير محدودة، سيكون تدريب النموذج أكثر كفاءة.
وظائف التنشيط الشائعة
- السيني
- تانه
- ريلو
- الحد الأقصى
- وحدة التعلم الإلكتروني
طريقة القياس
عادةً، توجد الطرق التجريبية التالية لقياس دالة التنشيط التي يجب استخدامها:
- هل يمكن نشر التدرج بشكل فعال؟
- هل المتوسط هو 0؟
- هل تكلفة الحساب عالية؟
في الشبكة العصبية، يمكن لوظيفة التنشيط أن تحدد ما إذا كانت الخلية العصبية نشطة، وما إذا كانت المعلومات ذات قيمة، أو ما إذا كان ينبغي التخلص منها.