تعزيز النموذج العالمي للكشف عن الأشياء بقليل من الصور

الكشف عن الأشياء بقليل من العينات (FSOD) يهدف إلى تعزيز أداء الكشف عن الأشياء الجديدة باستخدام عدد قليل من العينات المصنفة. لحل مشكلة نقص العينات، تلعب تعزيز قدرة الخصائص المستفادة على التعميم للأجسام الجديدة دورًا حاسمًا. لذلك، يجب أن يركز عملية تعلم الخصائص في FSOD أكثر على الخصائص الأساسية للأشياء، والتي تظل ثابتة تحت مختلف التغيرات البصرية وبالتالي تكون مفيدة للتعميم. على عكس المحاولات السابقة في نمط التعلم الميتا (meta-learning)، في هذا البحث، نستكشف كيفية تعزيز خصائص الأشياء بالخصائص الأساسية التي تكون شائعة بين مختلف فئات الأشياء. نقترح نموذجًا جديدًا يُسمى النموذج الشامل (universal prototype)، الذي يتم تعلمه من جميع فئات الأشياء. بالإضافة إلى ميزة وصف الخصائص الثابتة، فإن النماذج الشاملة تخفف من تأثير عدم توازن فئات الأشياء. بعد تعزيز خصائص الأشياء بالنماذج الشاملة، نطبق خسارة الاتساق لتعظيم الاتفاق بين الخصائص المعززة والخاصة الأصلية، مما يكون مفيدًا لتعلم الخصائص الثابتة للأجسام. وهكذا، طورنا إطار عمل جديد للكشف عن الأجسام بقليل من العينات مع النماذج الشاملة ({FSOD}^{up}) الذي يتميز بقدرة التعميم للخصائص نحو الأجسام الجديدة. أظهرت النتائج التجريبية على PASCAL VOC و MS COCO فعالية {FSOD}^{up}. بشكل خاص، بالنسبة لحالة 1-shot في تقسيم VOC الثاني، حقق {FSOD}^{up} تفوقًا بنسبة 6.8% على خط الأساس فيما يتعلق بـ mAP (متوسط الدقة عند الاستدعاء).