تعزيز موثوقية الشبكات العصبية العميقة من خلال مراقبة الدقة

دقة الاستنتاج في الشبكات العصبية العميقة (DNNs) تمثل معيارًا أداءً حاسمًا، ولكنها قد تختلف بشكل كبير في الممارسة حسب مجموعة البيانات الفعلية المستخدمة في الاختبار، وغالبًا ما تكون غير معروفة بسبب عدم توفر التسميات الصحيحة (ground truth). وقد أثار هذا قلقًا كبيرًا بشأن موثوقية الشبكات العصبية العميقة، خصوصًا في التطبيقات الحساسة للسلامة. في هذه الورقة، نتناول موثوقية الشبكات العصبية العميقة من خلال استخدام معالجة ما بعد التدريب لمراقبة دقة الاستنتاج الحقيقية على مجموعة بيانات المستخدم. وبشكل محدد، نقترح نموذجًا لمراقبة الدقة يستند إلى شبكة عصبية، والذي يتلقى فقط مخرجات احتمالية سوфт ماكس (softmax probability) للشبكة العصبية العميقة المُنشَّرة كمدخل، ويتنبأ مباشرةً ما إذا كانت نتيجة التوقع صحيحة أم لا، مما يؤدي إلى تقدير دقيق لدقة الاستنتاج الحقيقية. يمكن تدريب نموذج المراقبة مسبقًا على مجموعة بيانات ذات صلة بالتطبيق المستهدف، ويحتاج فقط إلى تسمية نشطة لجزء صغير (1% في تجاربنا) من مجموعة بيانات المستخدم لنقل النموذج. ولضمان موثوقية التقدير، نستخدم أيضًا مجموعة من نماذج المراقبة المبنية على طريقة التقليل العشوائي مونت كارلو (Monte-Carlo dropout). وقد قمنا بتقييم منهجيتنا على مختلف النماذج المُنشَّرة من الشبكات العصبية العميقة لتصنيف الصور وتحديد لوحات الإشارات المرورية عبر عدة مجموعات بيانات (بما في ذلك عينات مضادة). وأظهرت النتائج أن نموذج مراقبة الدقة المُقترح يوفر تقديرًا دقيقًا جدًا لدقة الاستنتاج الحقيقية، ويتفوق على الطرق الأساسية الحالية.