التعرف على الأفعال متعدد المهام بدون تدريب مسبق باستخدام زيادة البيانات ذات الأولوية

يعد التعلم بدون أمثلة (Zero-Shot Learning - ZSL) وعده بتوسيع نطاق التعرف البصري من خلال تجاوز الحاجة إلى أمثلة مُشَرَّحة لكل فئة في تدريب النماذج التقليدية. يتم تحقيق هذا الهدف بإنشاء خريطة تربط بين الميزات الأولية والوصف الدلالي لمجال العلامات، وهي المعروفة باسم الخريطة البصرية-الدلالية، باستخدام بيانات مساعدة. إعادة استخدام الخريطة المُتَعَلِّمة لتحويل مقاطع الفيديو المستهدفة إلى فضاء تمثيلي يسمح بالتعرف على الفئات الجديدة عن طريق استدلال الجار الأقرب. ومع ذلك، تعاني الأساليب الحالية للتعلم بدون أمثلة من تحول مجال البيانات المساعدة والمستهدفة بشكل جوهري بسبب افتراضها أن الخريطة هي نفسها للفئات المساعدة والمستهدفة المنفصلة. هذا يقوض دقة التعميم للتعرف ZSL على البيانات المستهدفة. في هذا العمل، نحسن قدرة ZSL على التعميم عبر هذا التحول المجال في طرق مركزية على النموذج وعلى البيانات من خلال صياغة خريطة بصرية-دلالية ذات خصائص تعميم أفضل وطريقة إعادة وزن البيانات الديناميكية لتفضيل البيانات المساعدة ذات الصلة بالفئات المستهدفة. وبشكل محدد: (1) نقدم خريطة بصرية-دلالية متعددة المهام لتحسين التعميم عن طريق تقييد معلمات الخريطة الدلالية لتكون ضمن منحنى ذي أبعاد منخفضة، (2) نستكشف زيادة البيانات ذات الأولوية من خلال توسيع مجموعة البيانات المساعدة بمزيد من الحالات المرتبة حسب صلتها بمجال الهدف. يتم تطبيق النموذج المقترح الجديد على مشكلة التعرف على الأفعال بدون أمثلة الصعبة لإظهار مزاياه على النماذج الحالية للتعلم بدون أمثلة (ZSL).