التعلم المتناقض النموذجي للتمثيلات غير المُعلَّمة

يقدم هذا البحث طريقة التعلم التمثيلي غير المُراقب المعروفة بـ "التعلم التبايني النموذجي" (Prototypical Contrastive Learning - PCL)، والتي تُعالج القيود الأساسية للتعلم التبايني على مستوى الكيانات (instance-wise contrastive learning). لا يقتصر دور PCL على تعلُّم السمات من الدرجة الدنيا لمهام التمييز بين الكيانات، بل يُعدّ أكثر أهمية في ترميز هياكل معنوية للبيانات بشكل ضمني داخل الفضاء المُدمَج (embedding space) المُتعلّم. بشكل محدد، نُقدِّم نماذج (prototypes) كمتغيرات خفية لمساعدة عملية إيجاد تقدير الاحتمال الأقصى (maximum-likelihood estimation) لمعاملات الشبكة ضمن إطار عمل تكراري من نوع EM (Expectation-Maximization). نُطبّق بشكل تكراري خطوة E (الخطوة التوقعية) من خلال تحديد توزيع النماذج باستخدام تقنيات التجميع (clustering)، وخطوة M (الخطوة التحسينية) من خلال تحسين الشبكة باستخدام التعلم التبايني. كما نُقدِّم خسارة ProtoNCE، وهي نسخة مُعمّمة لخسارة InfoNCE في التعلم التبايني، والتي تشجع التمثيلات على الاقتراب من النماذج المرتبطة بها. وقد أظهرت PCL تفوقًا ملحوظًا على أحدث الطرق المعتمدة على التعلم التبايني على مستوى الكيانات في عدة معايير، خاصةً في مهام التحويل في بيئات ذات موارد محدودة. يُمكن الاطلاع على الكود والنماذج المُدرَّبة مسبقًا عبر الرابط: https://github.com/salesforce/PCL.