توليف الوزن والتعزيز للتحليل التجزئي قليل العينات

يُعنى هذا البحث بتمييز الكائنات الأمامية في الصور باستخدام عدد قليل من الأمثلة (few-shot segmentation). نُدرّب شبكة عصبية تلافيفية (CNN) على مجموعات صغيرة من الصور التدريبية، بحيث تُقلّد كل مجموعة الوضع القائم على عدد قليل من الأمثلة. في كل مجموعة، تُستخدم صورة واحدة كصورة استعلام (query)، بينما تُستخدم الصور الأخرى كصور داعمة (support) مصحوبة بتمييز حقيقي (ground-truth segmentation). تقوم الشبكة أولاً باستخراج خرائط الميزات من صورة الاستعلام والصور الداعمة. ثم، يتم حساب متجه الميزة الفئوية كمتوسط لخرائط الميزات للصور الداعمة على المناطق المعروفة من الكائن الأمامي. وأخيرًا، يتم تمييز الكائن المستهدف في صورة الاستعلام باستخدام التشابه الجيبي (cosine similarity) بين متجه الميزة الفئوية وخرائط ميزات صورة الاستعلام.نقدّم مساهمتين رئيسيتين: (1) تحسين تمييز الميزات بحيث تكون تنشيطاتها عالية على الكائن الأمامي ومنخفضة في أماكن أخرى؛ و(2) تعزيز عملية الاستنتاج من خلال استخدام تجميع لخبراء متخصصين يُرشدون بواسطة مشتقة الخسارة الناتجة عن عملية التمييز للصور الداعمة أثناء الاختبار. أظهرت تقييماتنا على مجموعتي بيانات PASCAL-$5^i$ وCOCO-$20^i$ أننا نتفوّق بشكل ملحوظ على الطرق الحالية.