HyperAIHyperAI

Command Palette

Search for a command to run...

تدريب الشبكات العصبية باستخدام إشارات الخطأ المحلية

Arild Nøkland Lars H. Eidnes

الملخص

تدريب الشبكات العصبية المراقب للتصنيف يتم عادةً باستخدام دالة خسارة عالمية. توفر دالة الخسارة تدرجًا لطبقة الإخراج، ويتم انتشار هذا التدرج إلى الطبقات المخفية لتحديد اتجاه تحديث الأوزان. هناك نهج بديل وهو تدريب الشبكة باستخدام دوال خسارة طبقية. في هذه الورقة البحثية، نثبت لأول مرة أن التدريب الطبقي يمكن أن يقترب من أفضل النتائج الحالية على مجموعة متنوعة من مجموعات بيانات الصور. نستخدم شبكات فرعية ذات طبقة واحدة ودالتين مختلفتين للخسارة المراقبة لتوليد إشارات خطأ محلية للطبقات المخفية، ونوضح أن تركيب هاتين الدالتين يساعد في التحسين في سياق التعلم المحلي. استخدام الأخطاء المحلية قد يكون خطوة نحو تعلم عميق أكثر مطابقة للبيولوجيا لأن الخطأ العالمي لا يجب نقله إلى الطبقات المخفية. أظهرت طريقة خالية تمامًا من الانتشار العكسي تفوقها على النتائج السابقة بين الأساليب التي تستهدف زيادة المطابقة البيولوجية. الكود متاح على الرابط: https://github.com/anokland/local-loss


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تدريب الشبكات العصبية باستخدام إشارات الخطأ المحلية | مستندات | HyperAI