استكشاف فضاءات الميزات المتوازنة لتعلم التمثيل

تُطبَّق الطرق الحالية للتعلم الذاتي (SSL) بشكل رئيسي لتدريب نماذج التمثيل من مجموعات بيانات مُعدّلة اصطناعيًا (مثل ImageNet). ولا يزال غير واضح مدى كفاءة هذه الطرق في السياقات العملية التي تكون فيها مجموعات البيانات غالبًا غير متوازنة من حيث الفئات. مستوحى من هذا السؤال، نقوم بسلسلة من الدراسات حول أداء طرق التعلم التمييزي الذاتي والتعلم المُشرف على عدة مجموعات بيانات تتغير فيها توزيعات الأمثلة التدريبية من التوازن الكامل إلى التوزيع الطويل الذيل (long-tailed). وتكشف نتائجنا عن مفاجآت مثيرة. على عكس الطرق المُشرفة التي تُظهر انخفاضًا كبيرًا في الأداء، تُظهر طرق التعلم التمييزي الذاتي أداءً مستقرًا وقويًا حتى عند وجود توازن شديد في البيانات. وهذا يحفّزنا على استكشاف الفضاءات المُمثلة المتوازنة التي يتعلمها التعلم التمييزي، حيث تظهر تمثيلات الميزات تجانسًا خطيًا في الفصل بالنسبة لجميع الفئات. وتكشف تجاربنا الإضافية أن نموذج تمثيل يُنتج فضاءً ممثلًا متوازنًا يمكنه التعميم بشكل أفضل من النموذج الذي يُنتج فضاءً غير متوازن عبر عدة بيئات. مستوحى من هذه الرؤى، نطوّر طريقة جديدة لتعلم التمثيل تُسمى التعلم التمييزي $k$-موجب. وتُعد هذه الطريقة فعّالة في دمج المزايا الخاصة بالطرق المُشرفة والطرق التمييزية الذاتية، بهدف تعلم تمثيلات تميّزية ومتوازنة في آنٍ واحد. تُظهر التجارب الواسعة تفوقها في مهام التعرف المختلفة. وبشكل لافت، تحقق أداءً جديدًا على مستوى الحد الأقصى (state-of-the-art) في معايير التعرف الصعبة ذات التوزيع الطويل الذيل. سيتم الإفراج عن الشفرة والنموذج.