التكيف مع الانزياح التوزيعي من خلال توليد منبه المجال البصري

في هذه الورقة، نهدف إلى تكييف نموذج أثناء الاختبار باستخدام عدد قليل من البيانات غير المُعلَّمة للتعامل مع التحولات في التوزيع. وللتغلب على التحديات المرتبطة باستخلاص المعرفة المتعلقة بالمنطقة من كميات محدودة من البيانات، من الضروري الاستفادة من المعلومات المرتبطة بالبنية التحتية المُدرَّبة مسبقًا والمنطقيات المصدرية. فشلت الدراسات السابقة في استغلال النماذج الأساسية الحديثة التي تمتلك قدرة قوية على التعميم خارج التوزيع. علاوةً على ذلك، لم تُؤخذ التصاميم المُركَّزة حول المجال بعين الاعتبار في أعمالها. وبالإضافة إلى ذلك، تم استخدام عملية نمذجة المجالات المصدرية وعملية تعلم التكييف بشكل منفصل في مراحل تدريب منفصلة. في هذا العمل، نقترح منهجية تعتمد على الميزات المُحسَّبة مسبقًا من النموذج الأساسي. وبشكل خاص، نُنشئ بنك معرفة لاستخلاص المعرفة القابلة للنقل من المجالات المصدرية. وبناءً على بيانات الهدف بعينة قليلة، نقدّم مُولِّد نموذج مجالي (domain prompt generator) لتركيز بنك المعرفة في نموذج مُخصص للمجال. ثم يوجِّه هذا النموذج المُخصص الميزات البصرية نحو مجال معين من خلال وحدة توجيهية. علاوةً على ذلك، نقترح خسارة تقابلية مُدركة للمجال، ونستخدم التعلم التكراري (meta-learning) لتسهيل استخلاص معرفة المجال. أُجريت تجارب واسعة للتحقق من فعالية استخلاص معرفة المجال. وتفوقت الطريقة المقترحة على الطرق السابقة في خمسة معايير كبيرة، بما في ذلك WILDS وDomainNet.