Command Palette
Search for a command to run...
كيف يساعد الاختلاف في التعميم ضد تلف التسميات؟
كيف يساعد الاختلاف في التعميم ضد تلف التسميات؟
Xingrui Yu Bo Han Jiangchao Yao Gang Niu Ivor W. Tsang Masashi Sugiyama
الملخص
التعلم مع العلامات الضوضائية هو أحد أكثر المشكلات سخونة في مجال التعلم المشرف عليه بشكل ضعيف. استنادًا إلى تأثيرات الحفظ في الشبكات العصبية العميقة، أصبح التدريب على الحالات ذات الخسارة الصغيرة واعدًا جدًا لمعالجة العلامات الضوضائية. هذا يشجع على اعتماد أحدث النهج المعروفة بـ "Co-teaching" (التدريس التعاوني) التي تقوم بتدريب شبكتين عصبيتين عميقتين باستخدام خدعة الخسارة الصغيرة. ومع ذلك، مع زيادة عدد الدورات، تتقارب الشبكتان نحو توافق وتقل فعالية Co-teaching لتتحول إلى نهج التدريب الذاتي MentorNet (منتورنت). لحل هذه المشكلة، نقترح نموذج تعلم قويًا جديدًا يُسمى Co-teaching+ (التدريس التعاوني المطور)، والذي يربط بين استراتيجية "تحديث بالاختلاف" (Update by Disagreement) والتدريس التعاوني الأصلي. أولاً، تقوم الشبكتان بتغذية البيانات وإجراء التنبؤ بها جميعها، ولكن يتم الاحتفاظ فقط بالبيانات التي تختلف فيها التوقعات. ثم، من بين هذه البيانات المتناقضة، يقوم كل شبكة باختيار بياناتها ذات الخسارة الصغيرة، ولكنها تقوم بإعادة توزيع بيانات الخسارة الصغيرة من الشبكة الأخرى لتحديث معلماتها الخاصة. تظهر النتائج التجريبية على مجموعات البيانات المرجعية أن Co-teaching+ يتفوق بكثير على العديد من الأساليب الرائدة في صلابة النماذج المدربة.