DivideMix: التعلّم مع الت étiquettes الضوضائية كتعلم شبه مراقب

تُعرف الشبكات العصبية العميقة بأنها تتطلب كميات كبيرة من التسميات (annotation). وقد تم بذل جهود كبيرة لتقليل تكلفة التسمية عند التعلم باستخدام الشبكات العميقة. وتشمل الاتجاهات البارزة اثنين: التعلم باستخدام تسميات ضوضائية، والتعلم شبه المراقب من خلال استغلال البيانات غير المسمّاة. في هذا العمل، نقترح DivideMix، وهي إطار عمل جديد للتعلم باستخدام تسميات ضوضائية من خلال استغلال تقنيات التعلم شبه المراقب. وبشكل خاص، يُنشئ DivideMix نموذجًا مختلطًا لتمثيل توزيع الخسارة لكل عينة، بهدف تقسيم بيانات التدريب ديناميكيًا إلى مجموعة مسمّاة تحتوي على عينات صافية ومجموعة غير مسمّاة تحتوي على عينات ضوضائية، ثم يُدرّب النموذج على كلا المجموعتين بطريقة شبه مراقبة. ولتجنب انحياز التأكيد (confirmation bias)، نُدرّب بشكل متزامن شبكتين متباعدتين، بحيث تستخدم كل شبكة تقسيم البيانات المُعطى من الشبكة الأخرى. خلال مرحلة التدريب شبه المراقب، نُحسّن استراتيجية MixMatch من خلال تنفيذ تحسين متبادل للعلامات (label co-refinement) على العينات المسمّاة، وتخمين متبادل للعلامات (label co-guessing) على العينات غير المسمّاة. وتبين التجارب على عدة مجموعات بيانات معيارية تحسينات كبيرة مقارنة بالأساليب الرائدة حاليًا. يمكن الوصول إلى الكود عبر الرابط: https://github.com/LiJunnan1992/DivideMix.