نماذج مختلطة بروتوكولية للتصنيف الشمولي القليل التدريب

التحليل القليل النماذج (Few-shot segmentation) يُعدّ تحديًا كبيرًا نظرًا لأن الكائنات داخل الصور الداعمة (support images) والصور الطلبية (query images) قد تختلف بشكل كبير من حيث المظهر والوضعية. استخدام نموذج بروتوكولي واحد تم اكتسابه مباشرة من الصورة الداعمة لتحليل الصورة الطلبية يؤدي إلى غموض دلالي. في هذه الورقة، نقترح نماذج مزيج البروتوكول (Prototype Mixture Models - PMMs)، التي تربط مناطق متعددة في الصورة بعدد من البروتوكولات المختلفة، بهدف تعزيز التمثيل الدلالي القائم على البروتوكولات. يتم تقدير PMMs باستخدام خوارزمية التوقع-التحديث (Expectation-Maximization)، حيث تُدمج معلومات دلالية غنية على المستويين القناتي (channel-wise) والمساحي (spatial)، من خلال عدد محدود من الصور الداعمة. وتُستخدم PMMs كتمثيلات وكمصنفات، حيث تستغل بالكامل المعلومات الدلالية لتنشيط الكائنات في الصورة الطلبية، وفي الوقت نفسه تُثبّط مناطق الخلفية بطريقة مزدوجة. أظهرت التجارب الواسعة على مجموعتي بيانات Pascal VOC وMS-COCO تحسنًا ملحوظًا في الأداء مقارنة بأفضل النماذج الحالية. وبشكل خاص، حققت PMMs تحسنًا بنسبة تصل إلى 5.82% في أداء التحليل القليل النماذج (5-shot segmentation) على مجموعة بيانات MS-COCO، مع تكلفة معتدلة في حجم النموذج وسرعة الاستدلال.