HyperAIHyperAI

Command Palette

Search for a command to run...

جعل الشبكات العصبية العميقة مقاومة للضوضاء التسمية: نهج تصحيح الخسارة

Giorgio Patrini Alessandro Rozza Aditya Krishna Menon Richard Nock Lizhen Qu

الملخص

نقدم نهجًا مبنيًا على أساس نظري لتدريب الشبكات العصبية العميقة، بما في ذلك الشبكات التكرارية، في ظل الضوضاء المرتبطة بالتصنيف في البيانات المعلّمة. نقترح إجراءين لتصحيح الدالة الخسارة اللذين لا يعتمدان على مجال التطبيق أو هندسة الشبكة. هذه الإجراءات تقتصر ببساطة على عكس مصفوفة وضربها، شريطة أن نعرف احتمالية تحويل كل فئة إلى فئة أخرى. كما نوضح كيفية تقدير هذه الاحتمالات، من خلال تكييف تقنية حديثة لتقدير الضوضاء إلى الإعداد متعدد الفئات، مما يوفر إطارًا شاملًا من النهاية إلى النهاية. أجريت تجارب واسعة النطاق على مجموعات بيانات MNIST وIMDB وCIFAR-10 وCIFAR-100 ومجموعة بيانات كبيرة للصور الملابس باستخدام مجموعة متنوعة من الهندسات — تتضمن طبقات كثيفة وتجميعية وتجزئة وإفلات (dropout) وتقييد الدفعة (batch normalization) والتمثيل الكلامي (word embedding) والشبكات التكرارية ذات الذاكرة القصيرة طويلة الأمد (LSTM) والطبقات المتبقية (residual layers) — مما يثبت صلابة مقترحاتنا ضد الضوضاء. بالإضافة إلى ذلك، نثبت أيضًا أن دالة الخسارة تكون محصنة ضد الضوضاء المرتبطة بالتصنيف عندما يكون ReLU هو الوحيده غير الخطية المستخدمة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp