جميع التسميات ليست متساوية: تحسين التدريب شبه المراقب من خلال تجميع التسميات والتدريب التعاوني

يُعد التسمية الوهمية (Pseudo-labeling) عنصراً أساسياً في التعلم شبه المُراقب (Semi-Supervised Learning - SSL). ويعتمد هذا الأسلوب على استخدام النموذج بشكل تكراري لتوليد تسميات اصطناعية للبيانات غير المُعلمة، بهدف التدريب عليها. إحدى الخصائص الشائعة بين الطرق المختلفة المُستخدمة في هذا المجال هي الاعتماد حصراً على تنبؤات النموذج لاتخاذ قرارات التسمية، دون أخذ أي معرفة مسبقة بتشابه الصور بين الفئات بعين الاعتبار. في هذا البحث، نُظهر أن هذا النهج يؤدي إلى تدهور جودة التسمية الوهمية، لأنه لا يُمثل بشكل جيد الفئات البصرية المشابهة داخل مجموعة البيانات المُسمّاة وهمياً. ولحل هذه المشكلة، نُقدّم منهجية جديدة تُسمى SemCo، والتي تُستفيد من الدلالة اللغوية للتصنيفات (label semantics) والتدريب المشترك (co-training). نُدرّب نموذجين تصنيفين باستخدام وجهتين مختلفتين لتمثيل التصنيفات: الأول يعتمد على تمثيل التصنيفات على شكل one-hot، ويتغاضى عن أي تشابه محتمل بين الفئات، بينما يعتمد الثاني على تمثيل موزع للتصنيفات، ويُجمّع الفئات التي قد تكون مشابهة بصرياً مع بعضها. ثم نُدرّب النموذجين معاً لاستخلاص المعرفة من اختلافات تنبؤاتهما. ونُظهر أن منهجيتنا تحقق أداءً متفوّقاً على مستوى الحالة الراهنة (state-of-the-art) في مختلف مهام التعلم شبه المُراقب، بما في ذلك تحسين بنسبة 5.6% في الدقة على مجموعة بيانات Mini-ImageNet عند استخدام 1000 مثال مُعلّم فقط. كما نُبيّن أن منهجيتنا تتطلب حجم دفعة (batch size) أصغر وعدد تكرارات تدريب أقل للوصول إلى أفضل أداء ممكن. ونُقدّم كود التنفيذ متاحاً للجمهور عبر الرابط: https://github.com/islam-nassar/semco.