التعلم المراقب المتناقض

شهد التعلم المتناقض، عند تطبيقه على التعلم التمثيلي ذاتي التدريب (self-supervised representation learning)، تطورًا ملحوظًا في السنوات الأخيرة، مما أدى إلى أداء متميز على مستوى الحد الأقصى في تدريب نماذج الصور العميقة دون تسمية. تتفوق الطرق الحديثة القائمة على الحزم (batch contrastive) على الخسائر المتناقضة التقليدية مثل خسارة الثلاثيات (triplet)، وخسارة الحد الأقصى للهوة (max-margin)، وخسارة الأزواج (N-pairs)، أو تُضاهيها بشكل كبير. في هذا العمل، نوسع نهج التعلم المتناقض القائم على الحزم إلى البيئة المُعلَّمة بالكامل (fully-supervised)، مما يمكّننا من الاستفادة الفعالة من معلومات التسمية. حيث يتم سحب مجموعات النقاط التي تنتمي إلى نفس الفئة نحو بعضها البعض في فضاء التمثيل (embedding space)، في الوقت نفسه يتم دفع مجموعات العينات المنتمية إلى فئات مختلفة بعيدًا عن بعضها. قمنا بتحليل نسختين محتملتين لخسارة التعلم المتناقض المُعلَّم (Supervised Contrastive - SupCon)، وحددنا الصيغة الأفضل أداءً لهذه الخسارة. على نموذج ResNet-200، حققنا دقة أعلى بنسبة 81.4% على مجموعة بيانات ImageNet، أي بزيادة قدرها 0.8% مقارنة بأعلى نتيجة مُبلغ عنها سابقًا لهذا المعمارية. كما أظهرت الخسارة تفوقًا مستمرًا على خسارة التفاضل العشوائي (cross-entropy) على مجموعة متنوعة من البيانات، ونوعين من نماذج ResNet. وتُظهر الخسارة مزايا في المقاومة للتشوهات الطبيعية، كما أنها أكثر استقرارًا أمام تغيرات المعلمات الفائقة مثل خوارزميات التحسين (optimizers) وتقنيات التحويلات التدريبية (data augmentations). إن دالة الخسارة التي نقترحها بسيطة في التنفيذ، وتم إصدار رمز مرجع لمنصة TensorFlow عبر الرابط: https://t.ly/supcon.