HyperAIHyperAI

Command Palette

Search for a command to run...

PADCLIP: التسمية التلقائية مع التصحيح التكيفي للتحيّز في CLIP للتكيف دون تسمية المجال

Chen-Nee Chuah Kah Kuen Fu Xuelu Li Cong Phuoc Huynh Jun Wu Ning Zhou Noranart Vesdapunt Zhengfeng Lai

الملخص

يُستخدم التكيف غير المراقب التقليدي بين المجالات (UDA) لاستخدام المجال المصدر المُعلَّم للتعامل مع مهام التعلم في المجال الهدف غير المُعلَّم. ومع ذلك، يصبح الأمر أكثر صعوبة عندما يكون هناك فجوة كبيرة بين المجال المصدر والمجال الهدف. وتعتبر الحالة الأكثر واقعية هي استخدام نموذج مُدرَّب مسبقًا على نطاق واسع لسد هذه الفجوة. على سبيل المثال، يُظهر نموذج CLIP إمكانات واعدة في التعميم الصفري لسد هذه الفجوة. ومع ذلك، بعد تطبيق التحسين التقليدي (fine-tuning) على CLIP لضبطه خصيصًا على مجال الهدف، يعاني CLIP من مشكلة النسيان الكارثي، حيث يمكن للمعرفة الجديدة المتعلقة بالمجال الهدف أن تُطغى بسرعة على المعرفة المُدرَّبة مسبقًا في CLIP، مما يؤدي إلى انخفاض الدقة بنسبة 50%. نقترح قياس النسيان الكارثي (CFM) لتعديل معدل التعلم، بهدف تجنب التدريب المفرط (وبالتالي تخفيف مشكلة النسيان الكارثي). ثم نستخدِم التنبؤ الصفري لـ CLIP لصياغة بيئة تسمية وهمية (Pseudo-labeling) مع تصحيح التحيز التكيفي في CLIP (PADCLIP)، وذلك من خلال تعديل الاستنتاج السببي باستخدام زخمنا وـ CFM. يتيح لنا PADCLIP التدريب من البداية إلى النهاية على المجالين المصدر والهدف دون أي تكلفة إضافية، وقد حققنا أفضل النتائج على أربع مجموعات بيانات عامة، مع تحسن ملحوظ (بزيادة 18.5% في الدقة) على مجموعة بيانات DomainNet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp