بالمقابلة للتقسيم: التدريب المسبق ذاتي التحفيز لتعلم مع تسميات ضوضائية

ينجح أداء أساليب التعلم باستخدام العلامات الملوثة (LNL) بشكل كبير على نجاح مرحلة التسخين (warm-up)، حيث يتم تنفيذ التدريب المراقب القياسي باستخدام مجموعة التدريب الكاملة (الملوثة). في هذه الورقة، نحدد ما يُسمى بـ "عائق التسخين": عدم قدرة مراحل التسخين القياسية على تدريب مستخرجات ميزات عالية الجودة، وتجنب تذكر العلامات الملوثة. نقترح إطارًا بسيطًا يُسمى "المقارنة للانقسام" (Contrast to Divide - C2D)، الذي يحل هذه المشكلة من خلال تدريب مسبق لمستخرج الميزات بطريقة ذاتية-مراقبة (self-supervised). يُعزز التدريب المسبق الذاتي-المراقبة أداء الأساليب الحالية لـ LNL من خلال تقليل التأثر الكبير بمستوى الضوضاء في مرحلة التسخين، وتقصير مدة هذه المرحلة، وتحسين جودة الميزات المستخرجة. يعمل إطار C2D بشكل مباشر مع الأساليب الحالية، ويُظهر تحسنًا ملحوظًا في الأداء، خاصة في البيئات ذات مستوى الضوضاء العالي، حيث نحصل على زيادة تزيد عن 27% في دقة CIFAR-100 مع 90% من العلامات الملوثة مقارنةً بأفضل أداء سابق. في سياقات ضوضاء واقعية، يتفوق C2D المدرب على mini-WebVision على الأداء السابق في كلا مجموعتي التحقق WebVision وImageNet بـ 3% في دقة التصنيف الأولى (top-1). نقوم بتحليل معمق للإطار، بما في ذلك دراسة أداء مختلف أساليب التدريب المسبق، وتقدير الحد الأقصى الفعّال لأداء LNL باستخدام التعلم شبه المراقب. يمكن الوصول إلى الكود المطلوب لإعادة إنتاج التجارب عبر الرابط: https://github.com/ContrastToDivide/C2D