التفصيل القائم على عينات قليلة دون تعلّم متعدد المستويات: هل يكفيك استنتاج تداخلي جيد؟

نُظهر أن الطريقة التي تُجرى بها عملية الاستنتاج في مهام التجزئة القائمة على عدد قليل من الأمثلة (few-shot segmentation) تؤثر بشكل كبير على الأداء — وهي جوانب غالبًا ما تُهمل في الأدبيات العلمية بفضل التركيز على منهجية التعلم التلخيصي (meta-learning). نُقدّم استنتاجًا تحوّليًا (transductive inference) لصورة استفسار معينة، باستغلال إحصائيات بكسلاتها غير المُعلَّمة، من خلال تحسين دالة خسارة جديدة تتضمن ثلاث حدود مكملة: أولاً، الانتروبيا المتقاطعة على بكسلات الدعم المُعلَّمة؛ ثانياً، الانتروبيا الشانونية للنتائج الاحتمالية على بكسلات الصورة الاستفسارية غير المُعلَّمة؛ وثالثاً، منظم تباين كولبوج-ليبلر (KL-divergence) على مستوى عام يعتمد على نسبة الكائنات المُتنبأ بها كأمامية (foreground). وبما أن استنتاجنا يستخدم فئة تصنيف خطية بسيطة على الميزات المستخرجة، فإن حمولة الحوسبة الخاصة به تقارب تلك الخاصة بالاستنتاج الاستنتاجي (inductive inference)، ويمكن استخدامه فوق أي نموذج أساسي للتدريب. وباستبدال التدريب الدوراني (episodic training) واستخدام التدريب القياسي بالاعتماد على الانتروبيا المتقاطعة فقط على الفئات الأساسية، يُحقّق استنتاجنا أداءً تنافسيًا على المعايير القياسية في سيناريوهات التجزئة ذات "الصورة الواحدة" (1-shot). ومع زيادة عدد الصور المتاحة (الـshots)، تزداد الفجوة في الأداء: على مجموعة بيانات PASCAL-5i، يحقق نهجنا تحسينات قدرها 5% و6% على التوالي مقارنة بأفضل الأداءات الحالية في سيناريوهات 5-shot و10-shot. علاوة على ذلك، نُقدّم إعدادًا جديدًا يشمل تغيرات في المجال (domain shifts)، حيث تُستخلَص الفئات الأساسية والجديدة من مجموعات بيانات مختلفة. ويُظهر نهجنا أفضل الأداء في هذا السياق الأكثر واقعية. يُتاح كودنا مجانًا عبر الإنترنت: https://github.com/mboudiaf/RePRI-for-Few-Shot-Segmentation.