Transformer لاستخراج النموذج الوسيط للتصنيف الدلالي بعينات قليلة

يهدف التجزئة الشكلية القليلة العينات (Few-shot semantic segmentation) إلى تجزئة الكائنات المستهدفة في الصورة الاستعلامية (query) في ظل وجود عدد قليل من الصور الداعمة المُعلَّمة. سعى معظم الأبحاث السابقة إلى استخراج معلومات فئة أكثر فعالية من الصور الداعمة لتناسب الكائنات المقابلة في الصورة الاستعلامية. ومع ذلك، فقد تجاهلوا جميعًا الفجوة في معلومات الفئة بين الصور الاستعلامية والداعمة. فإذا كانت الكائنات في الصور تُظهر تباينًا داخليًا كبيرًا داخل الفئة، فإن نقل معلومات الفئة من الصور الداعمة إلى الصور الاستعلامية بشكل قسري يكون غير فعّال. لحل هذه المشكلة، نحن أول من قدم نموذجًا وسيطيًا (Intermediate Prototype) لاستخراج معلومات فئة مؤكدة من الصور الداعمة، ومعرفة فئة مُعدّلة تلقائيًا من الصورة الاستعلامية. وبشكل محدد، قمنا بتصميم نموذج استخراج النموذج الوسيطي (Intermediate Prototype Mining Transformer - IPMT) لتعلم النموذج الوسيطي بطريقة تكرارية. وفي كل طبقة من طبقات IPMT، نُمرر معلومات الكائنات من ميزات الصور الداعمة والصورة الاستعلامية إلى النموذج الوسيطي، ثم نستخدم هذا النموذج لتفعيل خريطة ميزات الصورة الاستعلامية. وبتنفيذ هذه العملية بشكل تكراري، يتم تحسين النموذج الوسيطي ومحفزات الصورة الاستعلامية تدريجيًا. في النهاية، تُستخدم الميزة النهائية للصورة الاستعلامية لإنتاج تنبؤ دقيق بتجزئة الصورة. أظهرت التجارب الواسعة على مجموعتي بيانات PASCAL-5i وCOCO-20i فعالية IPMT بشكل واضح، كما أظهرت أنه يتفوق على الطرق الرائدة السابقة بفارق كبير. يمكن الوصول إلى الكود من خلال: https://github.com/LIUYUANWEI98/IPMT