جعل الشبكات العصبية العميقة مقاومة للضوضاء التسمية: نهج تصحيح الخسارة

نقدم نهجًا مبنيًا على أساس نظري لتدريب الشبكات العصبية العميقة، بما في ذلك الشبكات التكرارية، في ظل الضوضاء المرتبطة بالتصنيف في البيانات المعلّمة. نقترح إجراءين لتصحيح الدالة الخسارة اللذين لا يعتمدان على مجال التطبيق أو هندسة الشبكة. هذه الإجراءات تقتصر ببساطة على عكس مصفوفة وضربها، شريطة أن نعرف احتمالية تحويل كل فئة إلى فئة أخرى. كما نوضح كيفية تقدير هذه الاحتمالات، من خلال تكييف تقنية حديثة لتقدير الضوضاء إلى الإعداد متعدد الفئات، مما يوفر إطارًا شاملًا من النهاية إلى النهاية. أجريت تجارب واسعة النطاق على مجموعات بيانات MNIST وIMDB وCIFAR-10 وCIFAR-100 ومجموعة بيانات كبيرة للصور الملابس باستخدام مجموعة متنوعة من الهندسات — تتضمن طبقات كثيفة وتجميعية وتجزئة وإفلات (dropout) وتقييد الدفعة (batch normalization) والتمثيل الكلامي (word embedding) والشبكات التكرارية ذات الذاكرة القصيرة طويلة الأمد (LSTM) والطبقات المتبقية (residual layers) — مما يثبت صلابة مقترحاتنا ضد الضوضاء. بالإضافة إلى ذلك، نثبت أيضًا أن دالة الخسارة تكون محصنة ضد الضوضاء المرتبطة بالتصنيف عندما يكون ReLU هو الوحيده غير الخطية المستخدمة.