إطار مشترك متعدد الانتباه للتعلم الصفري متعدد التصنيفات

في هذه الدراسة، نطوّر نموذجًا متعدد الانتباه المشترك للتعلم متعدد التسميات بدون تدريب (multi-label zero-shot learning). نحن نرى أن تصميم آلية انتباه لتمييز عدة تسميات معروفة وغير معروفة في صورة هو مهمة غير بسيطة، نظرًا لعدم وجود إشارة تدريبية لتحديد مواقع التسميات غير المعروفة، ونظرًا لأن الصورة تحتوي فقط على عدد قليل من التسميات المُعَرَّفة التي تتطلب الانتباه من بين آلاف التسميات الممكنة. لذلك، بدلًا من إنشاء انتباه مخصص للتسميات غير المعروفة، والتي تمتلك سلوكًا غير معروف وقد يركز على مناطق غير ذات صلة بسبب انعدام أي عينات تدريبية، نسمح للتسميات غير المعروفة باختيار واحدة من مجموعة من انتباهات مشتركة تم تدريبها لتكون خالية من الارتباط بالتسميات (label-agnostic) وتركز فقط على مناطق ذات صلة/أمامية من خلال دالة خسارة جديدة نقترحها. في النهاية، نتعلم دالة توافق لتمييز التسميات بناءً على الانتباه المُختَارة. بالإضافة إلى ذلك، نقترح دالة خسارة جديدة تتكون من ثلاثة مكونات، توجه الانتباه إلى مناطق مختلفة وذات صلة في الصورة، مع الاستفادة من جميع ميزات الانتباه. من خلال تجارب واسعة، نُظهر أن طريقتنا تُحسّن الأداء المُتَقدِّم في المجال بنسبة 2.9% و1.4% في مقياس F1 على مجموعتي بيانات NUS-WIDE وOpen Images على نطاق واسع، على التوالي.