استراتيجيات التضخيم للتعلم مع التسميات الضوضائية

الوسوم غير المثالية شائعة جدًا في مجموعات البيانات الواقعية. وقد استخدمت عدة طرق حديثة ناجحة لتدريب الشبكات العصبية العميقة (DNNs) بحيث تكون مقاومة لضوضاء الوسوم تقنيتين رئيسيتين: تصفية العينات بناءً على الخسارة خلال مرحلة التسخين لتكوين مجموعة أولية من العينات الموسومة بدقة، واستخدام مخرجات الشبكة كوسوم افتراضية (Pseudo-label) لحساب الخسارة في المراحل اللاحقة. في هذه الورقة، نقيّم استراتيجيات مختلفة للتكبير (Augmentation) للخوارزميات التي تعالج مشكلة "التعلم مع وسوم ضوضائية". ونُقدّم ونُحلّل عدة استراتيجيات للتكبير، ونُقيّمها باستخدام مجموعات بيانات اصطناعية مستندة إلى CIFAR-10 وCIFAR-100، وكذلك على مجموعة بيانات واقعية تُسمى Clothing1M. وبسبب التشابهات المشتركة بين هذه الخوارزميات، نجد أن استخدام مجموعة واحدة من التكبيرات في مهام نمذجة الخسارة، ومجموعة أخرى في عملية التعلم، هو الأكثر فعالية، مما يؤدي إلى تحسين النتائج مقارنة بالطرق الحديثة والأخرى السابقة. علاوة على ذلك، نلاحظ أن تطبيق التكبير خلال فترة التسخين يمكن أن يؤثر سلبًا على سلوك تقارب الخسارة بين العينات الموسومة بشكل صحيح مقابل تلك الموسومة بشكل خاطئ. ونُقدّم هذه الاستراتيجية إلى أحدث التقنيات، ونُظهر أن بإمكاننا تحسين الأداء على جميع مستويات الضوضاء المُختَرَّة. وبشكل خاص، نُحسّن الدقة على معيار CIFAR-10 عند مستوى ضوضاء متماثل بنسبة 90% بمقدار أكثر من 15% من حيث الدقة المطلقة، كما نُحسّن الأداء على مجموعة بيانات Clothing1M.(مساهمة كاكي نيشي ويونغ دينغ بشكل متساوٍ في هذه الدراسة)