تقييم تجريبي لتفعيلات التصحيح في شبكة الالتواء

في هذا البحث، نقوم بدراسة أداء أنواع مختلفة من وظائف التنشيط المستقيمة في شبكات العصبونات التلافيفية: الوحدة الخطية المستقيمة القياسية (ReLU)، الوحدة الخطية المستقيمة المتسربة (Leaky ReLU)، الوحدة الخطية المستقيمة المعلمة (PReLU) والوحدات الخطية المستقيمة المتسربة العشوائية الجديدة (RReLU). نقيم هذه وظائف التنشيط على مهمة تصنيف الصور القياسية. تشير تجاربنا إلى أن إدخال ميل غير صفري للجزء السالب في وحدات التنشيط المستقيمة يمكن أن يحسن النتائج بشكل مستمر. وبالتالي، فإن نتائجنا تنفي الاعتقاد الشائع بأن الندرة هي المفتاح للأداء الجيد في ReLU. بالإضافة إلى ذلك، على مجموعات البيانات الصغيرة الحجم، استخدام ميل سالب حتمي أو تعلم هذا الميل كلاهما عرضة للاستطراد الزائد. فهما ليسا فعالين مثل استخدام نظيريهما العشوائيين. باستخدام RReLU، حققنا دقة قدرها 75.68٪ على مجموعة اختبار CIFAR-100 دون الحاجة إلى اختبار متعدد أو تجميع.