شبكة تحسين الميزات المُوجهة مسبقًا للتحليل القليل التدريب

تتطلب الطرق الحديثة للفصل الدلالي مستوى عالٍ من البيانات المُصنفة لتحقيق نتائج جيدة، ولا تعمل بكفاءة على الفئات غير المرئية دون عملية التكيّف الدقيق (fine-tuning). ولحل هذه المشكلة، تم اقتراح الفصل القائم على عدد قليل من الأمثلة (Few-shot Segmentation)، من خلال تعلّم نموذج قادر على التكيّف السريع مع فئات جديدة باستخدام عدد قليل من العينات الداعمة المُصنفة. ومع ذلك، لا تزال هذه الأطر تواجه تحديًا في تقليل قدرة التعميم على الفئات غير المرئية نتيجة للاستخدام غير المناسب للمعلومات الدلالية عالية المستوى من الفئات التدريبية، بالإضافة إلى عدم الاتساق المكاني بين الأهداف الاستعلامية (query) والأهداف الداعمة (support). ولتخفيف هذه المشكلات، نقترح شبكة غنية بالميزات الموجهة بالمعطيات السابقة (Prior Guided Feature Enrichment Network - PFENet). وتتألف هذه الشبكة من تصميمات جديدة تشمل: (1) طريقة خالية من التدريب لإنشاء قناع مسبق (prior mask) تُحافظ على قدرة التعميم وتحسّن في الوقت نفسه أداء النموذج، و(2) وحدة تثري الميزات (Feature Enrichment Module - FEM) التي تتجاوز عدم الاتساق المكاني من خلال تثري ميزات الاستعلام بشكل تكيفي باستخدام ميزات الدعم والقناع المسبق. أثبتت التجارب الواسعة على مجموعتي البيانات PASCAL-5$^i$ وCOCO أن طريقة إنشاء القناع المسبق والوحدة المذكورة تحسّنان بشكل كبير من أداء النموذج الأساسي. كما يتفوق نموذجنا PFENet على أحدث الطرق بفارق كبير دون التضحية بالكفاءة. من المفاجئ أن نموذجنا يتمتع حتى بقدرة على التعميم في الحالات التي لا تتوفر فيها عينات داعمة مُصنفة. يمكن الوصول إلى الكود الخاص بنا من خلال الرابط التالي: https://github.com/Jia-Research-Lab/PFENet/.