التدريس المشترك: تدريب شبكات العصب العميق بوسوم متضررة بشدة

التعلم العميق مع العلامات الضوضائية يعتبر تحديًا عمليًا، نظرًا لقدرة النماذج العميقة على حفظ هذه العلامات الضوضائية تمامًا في وقت ما خلال التدريب. ومع ذلك، تظهر الدراسات الحديثة حول آثار الحفظ في الشبكات العصبية العميقة أن هذه الشبكات ستقوم أولاً بحفظ بيانات التدريب ذات العلامات النظيفة ثم تلك ذات العلامات الضوضائية. لذلك، في هذا البحث، نقترح نموذج تعلم عميق جديد يُسمى "التدريس التعاوني" (Co-teaching) للتعامل مع العلامات الضوضائية. بعبارة أخرى، نقوم بتدريب شبكتين عصبيتين عمقيتين بشكل متزامن، وندعوهما لتعليم بعضهما البعض في كل دفعة صغيرة من البيانات: أولاً، تقوم كل شبكة بتغذية جميع البيانات وتختار بعض البيانات التي قد تكون ذات علامات نظيفة؛ ثانيًا، تتواصل الشبكتان فيما بينهما حول أي بيانات في هذه الدفعة الصغيرة يجب استخدامها للتدريب؛ وأخيرًا، تقوم كل شبكة بإعادة توزيع البيانات المختارة بواسطة الشبكة الأخرى وتحديث نفسها. تظهر النتائج التجريبية على إصدارات ضوضائية من MNIST وCIFAR-10 وCIFAR-100 أن "التدريس التعاوني" (Co-teaching) أفضل بكثير من أفضل الأساليب الحالية في صلابة النماذج العميقة المدربة.