HyperAIHyperAI
منذ 11 أيام

التعلم المقابل الاحتمالي للتكيف بين المجالات

Junjie Li, Yixin Zhang, Zilei Wang, Saihui Hou, Keyu Tu, Man Zhang
التعلم المقابل الاحتمالي للتكيف بين المجالات
الملخص

أظهر التعلم المقارن نجاحًا ملحوظًا في تعزيز تمييزية الميزات لمهام بصرية متنوعة بطريقة ذاتية التدريب، لكن النموذج القياسي للتقارب (الميزات + التطبيع $\ell_{2}$) يحقق فوائد محدودة عند تطبيقه في التكيف بين المجالات. وجدنا أن السبب الرئيسي في ذلك يكمن في إهمال أوزان الفئات (أوزان الطبقة المتصلة بالكامل في النهاية) أثناء عملية التكيف بين المجالات، مما يجعل من الصعب على الميزات التجمع حول أوزان الفئات المقابلة. ولحل هذه المشكلة، نقترح نهجًا يُسمى التعلم المقارن الاحتمالي البسيط ولكن القوي (PCL)، والذي يتجاوز النموذج القياسي من خلال إزالة التطبيع $\ell_{2}$ واستبدال الميزات باحتمالات. يمكن لـ PCL توجيه توزيع الاحتمالات نحو التكوين الواحد-الحُرَّة (one-hot)، وبالتالي تقليل الفجوة بين الميزات وأوزان الفئات. أجرينا تجارب واسعة لتقييم فعالية PCL، ولاحظنا تحسينات مستمرة في الأداء على خمسة مهام، وهي: التكيف بين المجالات غير المراقبة/شبه المراقبة (UDA/SSDA)، والتعلم شبه المراقب (SSL)، والكشف في التكيف بين المجالات غير المراقبة، والتقسيم الدلالي. وبشكل لافت، تفوق PCL على النموذج المعقد CPSL-D في مهام التقسيم الدلالي غير المراقب على بيانات SYNTHIA بفارق يزيد عن 2% من حيث متوسط IoU، مع تكلفة تدريب أقل بكثير (PCL: 1×3090، 5 أيام مقابل CPSL-D: 4×V100، 11 يومًا). يتوفر الكود على الرابط: https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.

التعلم المقابل الاحتمالي للتكيف بين المجالات | أحدث الأوراق البحثية | HyperAI