HyperAIHyperAI

Command Palette

Search for a command to run...

تقييم تجريبي لتفعيلات التصحيح في شبكة الالتواء

Bing Xu Naiyan Wang Tianqi Chen Mu Li

الملخص

في هذا البحث، نقوم بدراسة أداء أنواع مختلفة من وظائف التنشيط المستقيمة في شبكات العصبونات التلافيفية: الوحدة الخطية المستقيمة القياسية (ReLU)، الوحدة الخطية المستقيمة المتسربة (Leaky ReLU)، الوحدة الخطية المستقيمة المعلمة (PReLU) والوحدات الخطية المستقيمة المتسربة العشوائية الجديدة (RReLU). نقيم هذه وظائف التنشيط على مهمة تصنيف الصور القياسية. تشير تجاربنا إلى أن إدخال ميل غير صفري للجزء السالب في وحدات التنشيط المستقيمة يمكن أن يحسن النتائج بشكل مستمر. وبالتالي، فإن نتائجنا تنفي الاعتقاد الشائع بأن الندرة هي المفتاح للأداء الجيد في ReLU. بالإضافة إلى ذلك، على مجموعات البيانات الصغيرة الحجم، استخدام ميل سالب حتمي أو تعلم هذا الميل كلاهما عرضة للاستطراد الزائد. فهما ليسا فعالين مثل استخدام نظيريهما العشوائيين. باستخدام RReLU، حققنا دقة قدرها 75.68٪ على مجموعة اختبار CIFAR-100 دون الحاجة إلى اختبار متعدد أو تجميع.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp