التمييز الدلالي القليل المعمم

تتطلب تدريب نماذج التجزئة الدلالية كمية كبيرة من البيانات المُشَرَّحة بدقة، مما يجعل من الصعب التكيف السريع مع فئات جديدة لا تستوفي هذه الشروط. يعالج تقسيم القليل من الإطارات (FS-Seg) هذه المشكلة مع العديد من القيود. في هذا البحث، نقدم معيارًا جديدًا يُسمى تقسيم القليل من الإطارات الدلالي العام (GFS-Seg)، لتحليل قدرة التعميم على تقسيم الفئات الجديدة بوجود أمثلة قليلة جدًا والفئات الأساسية بوجود أمثلة كافية. وهو أول دراسة تظهر أن الطرق الرائدة السابقة في FS-Seg تكون غير كافية في GFS-Seg وأن الاختلاف في الأداء ينبع بشكل أساسي من الإعداد المقيد لـ FS-Seg. لجعل GFS-Seg قابل للحل، أنشأنا خط أساس GFS-Seg الذي يحقق أداءً جيدًا دون إجراء أي تغييرات هيكلية على النموذج الأصلي.ثم، بما أن السياق ضروري للتقطيع الدلالي، اقترحنا تعلم النماذج الواعية بالسياق (Context-Aware Prototype Learning - CAPL) الذي يحسن الأداء بشكل كبير من خلال: 1) الاستفادة من المعرفة الأولية المشتركة الموجودة في العينات الداعمة، و2) غني المعلومات السياقية ديناميكيًا إلى تصنيف البيانات بناءً على محتوى كل صورة استعلامية. أثبتت كلتا المساهمتين عمليًا أنها ذات قيمة عملية كبيرة. أظهرت التجارب الواسعة على Pascal-VOC وCOCO فعالية CAPL، كما أن CAPL يتعمم بشكل جيد إلى FS-Seg بتحقيقه لأداء تنافسي. يمكن الوصول إلى الكود عبر الرابط: https://github.com/dvlab-research/GFS-Seg.