تعلم البروتوتيبات المتعامدة للفصل الدلالي القليل التمثيل العام

يُميّز التجزئة المعنى القليلة الشهادة المعممة (GFSS) بين بكسلات الفئات الأساسية والجديدة مقابل الخلفية في نفس الوقت، وذلك بشرط توفر بيانات كافية للفئات الأساسية وعدد قليل من الأمثلة من الفئة الجديدة. يعتمد النهج الشائع لـ GFSS على مرحلتين تدريسيتين: تعلم الفئات الأساسية، ثم تحديث الفئات الجديدة. ومع ذلك، فإن عملية التحديث المنفصلة غالبًا ما تؤدي إلى تدهور في الخصائص المُكتسبة جيدًا، مما ينجم عنه انخفاض في الأداء على الفئات الأساسية. في هذا البحث، نقترح فكرة جديدة تُستخدم فيها تقنية "التصويب على البروتوتايبات المتعامدة" (POP)، والتي تُحدّث الخصائص لتمييز الفئات الجديدة دون التأثير سلبًا على الفئات الأساسية. تعتمد POP على بناء مجموعة من البروتوتايبات المتعامدة، حيث يمثل كل بروتوتايب فئة معنوية واحدة، وتُجرى التنبؤات لكل فئة بشكل منفصل بناءً على الخصائص المُشَرّطة على بروتوتايبها المقابل. من الناحية التقنية، تتعلم POP البروتوتايبات أولاً باستخدام البيانات الأساسية، ثم تُوسّع مجموعة البروتوتايبات لتضم الفئات الجديدة. وتحفّز القيود المتعامدة في POP على تحقيق التماثل المتعامد بين البروتوتايبات المُكتسبة، مما يقلل من التأثير السلبي على خصائص الفئات الأساسية عند التعميم على البروتوتايبات الجديدة. علاوةً على ذلك، نستفيد من باقي التصويب الخاص بالخصائص كتمثيل للخلفية، بهدف التكيّف الديناميكي مع التحولات المعنوية (أي أن الخلفية لا تحتوي أكثر على بكسلات الفئات الجديدة في مرحلة التحديث). أظهرت التجارب الواسعة على معيارين أن POP تحقق أداءً متفوقًا على الفئات الجديدة دون التضحية كثيرًا بدقة الفئات الأساسية. وبشكل ملحوظ، تفوق POP على أفضل تقنيات التحسين الدقيق (fine-tuning) في الحالة الحالية، بفارق 3.93% في متوسط دقة التقاطع على المقياس (mIoU) على مجموعة بيانات PASCAL-5i في سيناريو 5-shot.