APANet: شبكة توحيد البروتوتيبات التكيفية للتصنيف الدلالي القائم على عدد قليل من الأمثلة

يهدف التجزئة الدلالية القليلة الأمثل (Few-shot semantic segmentation) إلى تجزئة كائنات فئة جديدة في صورة استعلام معطاة باستخدام عدد قليل جدًا من الصور الداعمة المُعلَّمة. تعتمد معظم الحلول المتقدمة على إطار عمل تعلم القياس (metric learning) الذي يُنفّذ التجزئة من خلال مطابقة كل ميزة استعلامية مع بروتوكول مُدرَّس مُخصص لكل فئة. ومع ذلك، يعاني هذا الإطار من تصنيف مُتحيّز ناتج عن مقارنات ميزة غير كاملة. لمعالجة هذه المشكلة، نقدّم تمثيلًا مُتكيفًا للبروتوكول من خلال إدخال بروتوكولات مخصصة للصفة وبروتوكولات غير مخصصة للصفة، مما يُمكّن من بناء أزواج عينات كاملة لتعلم التماثل الدلالي مع ميزات الاستعلام. يُثري نمط تعلّم الميزات المكملة مقارنة الميزات بشكل فعّال، ويساعد في تحقيق نموذج تجزئة غير متحيّز في البيئة القليلة الأمثل. يتم تنفيذ هذا النهج من خلال شبكة ذات فرعين (two-branch) تعمل بشكل كامل (end-to-end)، تضم فرعًا مخصصًا للصفة وفرعًا غير مخصص للصفة، حيث تُولّد البروتوكولات ثم تدمج ميزات الاستعلام لإجراء المقارنات. بالإضافة إلى ذلك، يُعد الفرع غير المخصص للصفة المُقترح بسيطًا ولكنه فعّال. في الممارسة العملية، يمكنه توليد عدد من البروتوكولات غير المخصصة للصفة تلقائيًا وفقًا لصورة الاستعلام، ويُدرّب على تعلم التماثل الميزة بطريقة ذاتية المقارنة (self-contrastive). أظهرت التجارب الواسعة على مجموعتي البيانات PASCAL-5$^i$ وCOCO-20$^i$ تفوق طريقة الاقتراح. وبلا تكلفة في كفاءة الاستدلال، يحقق نموذجنا نتائج متميزة على مستوى الأفضل في كل من البيئتين 1-shot و5-shot لمشكلة التجزئة الدلالية.