تعلم الوكلاء المعاني من المُحفِّزات البصرية للتحسين الفعّال من حيث المعلمات في التعلُّم العميق للمقياس

لطالما لاقت التعلم القياسي العميق (DML) اهتمامًا كبيرًا من مجتمع تعلم الآلة باعتباره هدفًا رئيسيًا. تتركز الحلول الحالية على تحسين النماذج المُدرّبة مسبقًا على مجموعات بيانات صور تقليدية. وبسبب نجاح النماذج المُدرّبة مسبقًا التي تم تدريبها على مجموعات بيانات أكبر حجمًا، أصبح من الصعب تكييف النموذج لمهام التعلم القياسي المحلي مع الحفاظ على المعرفة المكتسبة سابقًا. في هذه الورقة، نستعرض أساليب فعّالة من حيث المُعاملات لتحسين النموذج المُدرّب مسبقًا لمهام DML. وبشكل خاص، نقترح إطارًا جديدًا وفعّالًا يستند إلى تعلُّم المنبهات البصرية (VPT) في نماذج المحولات البصرية المُدرّبة مسبقًا (ViT). وبناءً على النموذج التقليدي القائم على "المرجع" في DML، نُعدّل المراجع من خلال دمج المعلومات الدلالية من الصورة المدخلة والمحول البصري (ViT)، حيث نُحسّن المنبهات البصرية لكل فئة على حدة. ونُظهر أن تقريباتنا الجديدة التي تضم المعلومات الدلالية تتفوّق في تمثيلية المُعايير، مما يؤدي إلى تحسين أداء التعلم القياسي. ونُجري تجارب واسعة النطاق لإثبات فعالية وكفاءة الإطار المقترح من خلال تقييم معايير DML الشهيرة. وبشكل خاص، نُظهر أن طريقة التحسين المُقترحة تحقق أداءً مُقارنًا أو حتى أفضل من أحدث الطرق المُحسّنة بالكامل في DML، مع تحسين نسبة صغيرة جدًا من المُعاملات الإجمالية.