التعلم المتناقض المعلمي المعمم

في هذه الورقة، نقترح نموذج التعلم المتناقض المُعامَل المُعلَّم بمعاملات (GPaCo/PaCo) الذي يُظهر أداءً ممتازًا على كل من البيانات المتوازنة والغير متوازنة. استنادًا إلى تحليل نظري، لاحظنا أن خسارة التعلم المتناقض المُراقبة تميل إلى التحيّز نحو الفئات ذات التردد العالي، مما يزيد من صعوبة التعلم في البيئات غير المتوازنة. ولذلك، قمنا بتعريف مجموعة من المراكز القابلة للتعلم حسب الفئة (class-wise learnable centers) لاستعادة التوازن من منظور تحسين. وبالإضافة إلى ذلك، قمنا بتحليل خسارة GPaCo/PaCo في بيئة متوازنة. وتبين من التحليل أن GPaCo/PaCo قادر على تعزيز تلقائي لشدة دفع العينات من نفس الفئة لتقترب من بعضها البعض، كلما زاد عدد العينات التي تُجذب نحو مراكزها المقابلة، مما يُسهم في تحسين تعلم الأمثلة الصعبة. وقد أظهرت التجارب على مجموعات بيانات ذات توزيع طويل الذيل (long-tailed benchmarks) أداءً جديدًا يُعدّ الأفضل حتى الآن في التعرف على الصور ذات التوزيع الطويل الذيل. كما أظهرت النماذج المدربة باستخدام خسارة GPaCo على مجموعة ImageNet الكاملة (من الشبكات العصبية التلافيفية CNNs إلى نماذج المحولات البصرية Vision Transformers) أداءً أفضل في التعميم ومقاومة أقوى مقارنة بنماذج MAE. علاوة على ذلك، يمكن تطبيق GPaCo على مهام التجزئة الشكلية (semantic segmentation)، حيث لوحظ تحسن ملحوظ على أربع من أبرز مجموعات البيانات المستخدمة في هذا المجال. يمكن الاطلاع على الكود المصدر عبر الرابط التالي: https://github.com/dvlab-research/Parametric-Contrastive-Learning.