شبكات ConvNets ذات دوال نشاط مُعدَّلة سلسًا للانحدار

في الشبكات العصبية (NN)، تتحكم المعاملات الخاصة بدوال التنشيط التكيفية (AAF) في أشكال دوال التنشيط. وتُدرَّب هذه المعاملات مع باقي المعاملات في الشبكة العصبية. وقد ساهمت دوال التنشيط التكيفية في تحسين أداء الشبكات العصبية التلافيفية (CNN) في مهام تصنيف متعددة. وفي هذه الورقة، نقترح ونطبق دوال التنشيط التكيفية على الشبكات العصبية التلافيفية لمهام الانحدار. ونُقدِّم حجّة تُفيد بأن تطبيق دوال التنشيط التكيفية في الطبقة الثانية من النهاية (طبقة الانحدار) في الشبكة العصبية يمكن أن يقلل بشكل كبير من التحيز في الشبكة العصبية للانحدار. ومع ذلك، قد يؤدي استخدام دوال التنشيط التكيفية الحالية إلى التعلم الزائد (Overfitting). ولحل هذه المشكلة، نقترح دالة تنشيط تكيفية سلسة (SAAF) ذات شكل متعدد الحدود التجزئي، والتي يمكنها تقريب أي دالة مستمرة بدقة مطلقة، مع الحفاظ على ثابت ليبيتشت المحدود عند تقييد معاملات النموذج. وبذلك، يمكن للشبكات العصبية التي تستخدم SAAF تجنب التعلم الزائد من خلال تبسيط عملية تنظيم معاملات النموذج. وقد أجرينا تقييمًا تجريبيًا على الشبكات العصبية التلافيفية باستخدام SAAF، وحققنا نتائج منافسة على أعلى المستويات في مجموعتي بيانات تقدير العمر والوضع (pose estimation).