كيف يساعد الاختلاف في التعميم ضد تلف التسميات؟

التعلم مع العلامات الضوضائية هو أحد أكثر المشكلات سخونة في مجال التعلم المشرف عليه بشكل ضعيف. استنادًا إلى تأثيرات الحفظ في الشبكات العصبية العميقة، أصبح التدريب على الحالات ذات الخسارة الصغيرة واعدًا جدًا لمعالجة العلامات الضوضائية. هذا يشجع على اعتماد أحدث النهج المعروفة بـ "Co-teaching" (التدريس التعاوني) التي تقوم بتدريب شبكتين عصبيتين عميقتين باستخدام خدعة الخسارة الصغيرة. ومع ذلك، مع زيادة عدد الدورات، تتقارب الشبكتان نحو توافق وتقل فعالية Co-teaching لتتحول إلى نهج التدريب الذاتي MentorNet (منتورنت). لحل هذه المشكلة، نقترح نموذج تعلم قويًا جديدًا يُسمى Co-teaching+ (التدريس التعاوني المطور)، والذي يربط بين استراتيجية "تحديث بالاختلاف" (Update by Disagreement) والتدريس التعاوني الأصلي. أولاً، تقوم الشبكتان بتغذية البيانات وإجراء التنبؤ بها جميعها، ولكن يتم الاحتفاظ فقط بالبيانات التي تختلف فيها التوقعات. ثم، من بين هذه البيانات المتناقضة، يقوم كل شبكة باختيار بياناتها ذات الخسارة الصغيرة، ولكنها تقوم بإعادة توزيع بيانات الخسارة الصغيرة من الشبكة الأخرى لتحديث معلماتها الخاصة. تظهر النتائج التجريبية على مجموعات البيانات المرجعية أن Co-teaching+ يتفوق بكثير على العديد من الأساليب الرائدة في صلابة النماذج المدربة.