التحفيز البصري المُعدَّل

الطريقة الحالية في تكييف النماذج المُدرّبة مسبقًا تتضمن تحديث جميع معاملات المكون الأساسي، أي التخصيص الكامل (full fine-tuning). يقدّم هذا البحث تكييف المُدخلات البصرية (Visual Prompt Tuning - VPT) كحل بديل فعّال وكفؤ للتخصيص الكامل بالنسبة للنماذج الكبيرة من نوع Transformer في مجال الرؤية الحاسوبية. مستوحى من التطورات الحديثة في تحسين كفاءة تكييف نماذج اللغة الكبيرة، يُضيف VPT كمية صغيرة جدًا من المعاملات القابلة للتدريب (أقل من 1% من إجمالي معاملات النموذج) في فضاء المُدخلات، مع الحفاظ على تجميد المكون الأساسي للنموذج. من خلال تجارب واسعة على مجموعة متنوعة من مهام التعرف على المهام التالية، نُظهر أن VPT يحقق تحسينات كبيرة في الأداء مقارنةً بطرق أخرى فعّالة من حيث عدد المعاملات. والأهم من ذلك، أن VPT يتفوّق أحيانًا على التخصيص الكامل في العديد من الحالات، سواء من حيث قدرات النموذج أو أحجام بيانات التدريب، مع تقليل تكلفة التخزين لكل مهمة.