HyperAIHyperAI
منذ 8 أيام

تحسين التكيف النطاقي من خلال محاذاة متجه النص التحفيزي

Hoang Phan, Lam Tran, Quyen Tran, Trung Le
تحسين التكيف النطاقي من خلال محاذاة متجه النص التحفيزي
الملخص

تُركّز الطرق التقليدية لتكيف المجال غير المراقب (UDA) غالبًا على تدريب مُستخرج ميزات غير مُعتمد على المجال، وهو ما قد يعيق النموذج من تعلّم ميزات كافية التمييز. ولحل هذه المشكلة، اتّخذت مجموعة من الدراسات التي تعتمد على التعلّم بالـprompt (التحفيز) قوة النماذج الكبيرة المُدرّبة مسبقًا في مجال الرؤية واللغة، بهدف تعلّم ميزات غير مُعتمدة على المجال وميزات محددة للمجال من خلال مجموعة من الـprompts القابلة للتعلّم غير المُعتمدة على المجال ومُخصصة له. وعادةً ما تفرض هذه الدراسات قيودًا ثابتة على فضاء التمثيل أو المخرجات أو فضاء الـprompts لتعلّم هذه الـprompts. على النقيض من ذلك، نُقدّم إطارًا جديدًا يُصوّر UDA كمُشكلة تحسين متعددة الأهداف، حيث يُمثّل كل هدف خسارة متعلقة بمجال معين. ضمن هذا الإطار الجديد، نقترح توحيد متجهات التدرج لكل هدف لتعزيز التوافق بينها. علاوةً على ذلك، ولمنع التعلّم الزائد (overfitting) المحتمل أثناء التحسين الدقيق (fine-tuning) لهذا الهيكل العصبي العميق، نُطبّق عقوبة على معيار (النورم) هذه التدرجات. لتحقيق هذه الأهداف، نُطوّر إجراءً عمليًا لتحديث التدرجات يمكنه العمل في سياقات UDA ذات المصدر الواحد ومتعدّد المصادر. من الناحية التجريبية، تتفوّق طريقةنا باستمرار على الطرق الأخرى لتكيف نماذج الرؤية واللغة. يُمكن الوصول إلى التنفيذ عبر الرابط التالي: https://github.com/VietHoang1512/PGA.