PADCLIP: التسمية التلقائية مع التصحيح التكيفي للتحيّز في CLIP للتكيف دون تسمية المجال

يُستخدم التكيف غير المراقب التقليدي بين المجالات (UDA) لاستخدام المجال المصدر المُعلَّم للتعامل مع مهام التعلم في المجال الهدف غير المُعلَّم. ومع ذلك، يصبح الأمر أكثر صعوبة عندما يكون هناك فجوة كبيرة بين المجال المصدر والمجال الهدف. وتعتبر الحالة الأكثر واقعية هي استخدام نموذج مُدرَّب مسبقًا على نطاق واسع لسد هذه الفجوة. على سبيل المثال، يُظهر نموذج CLIP إمكانات واعدة في التعميم الصفري لسد هذه الفجوة. ومع ذلك، بعد تطبيق التحسين التقليدي (fine-tuning) على CLIP لضبطه خصيصًا على مجال الهدف، يعاني CLIP من مشكلة النسيان الكارثي، حيث يمكن للمعرفة الجديدة المتعلقة بالمجال الهدف أن تُطغى بسرعة على المعرفة المُدرَّبة مسبقًا في CLIP، مما يؤدي إلى انخفاض الدقة بنسبة 50%. نقترح قياس النسيان الكارثي (CFM) لتعديل معدل التعلم، بهدف تجنب التدريب المفرط (وبالتالي تخفيف مشكلة النسيان الكارثي). ثم نستخدِم التنبؤ الصفري لـ CLIP لصياغة بيئة تسمية وهمية (Pseudo-labeling) مع تصحيح التحيز التكيفي في CLIP (PADCLIP)، وذلك من خلال تعديل الاستنتاج السببي باستخدام زخمنا وـ CFM. يتيح لنا PADCLIP التدريب من البداية إلى النهاية على المجالين المصدر والهدف دون أي تكلفة إضافية، وقد حققنا أفضل النتائج على أربع مجموعات بيانات عامة، مع تحسن ملحوظ (بزيادة 18.5% في الدقة) على مجموعة بيانات DomainNet.