PANet: تقسيم الصور إلى معاني باستخدام محاذاة النماذج الأولية

رغم التقدم الكبير الذي أحرزته الشبكات العصبية العميقة المُستندة إلى الـ CNN في تقسيم الصور الدلالي، فإنها عادةً ما تتطلب عددًا كبيرًا من الصور المُشَرَّحة كثيفًا للتدريب وتعاني من صعوبة تعميمها على فئات الأشياء غير المعروفة. لذلك، تم تطوير تقنيات التقسيم القليل المثال (Few-shot segmentation) لتعلم كيفية إجراء التقسيم من أمثلة مُشَرَّحة قليلة فقط. في هذا البحث، نتناول مشكلة التقسيم القليل المثال من منظور تعلم المقاييس (Metric learning) ونقدم PANet، وهي شبكة تناظر النماذج الأولية (Prototype alignment network) الجديدة التي تهدف إلى الاستفادة بشكل أفضل من معلومات مجموعة الدعم (Support set). يتعلم PANet تمثيلات نموذجية خاصة بالفئة من صور دعم قليلة داخل فضاء مضمن (Embedding space)، ثم يقوم بتقسيم الصور الاستعلامية (Query images) عن طريق مطابقة كل بكسل مع النماذج الأولية المُتعلمة. باستخدام تعلم المقاييس اللامعلمي (Non-parametric metric learning)، توفر PANet نماذج أولية عالية الجودة وممثلة لكل فئة دلالية وفي الوقت نفسه تمييزية بين الفئات المختلفة. بالإضافة إلى ذلك، تقوم PANet بتقديم تنظيم تناظري للنموذج الأولي بين الدعم والاستعلام. وبفضل هذا التنظيم، تستغل PANet تمامًا المعرفة المستخرجة من مجموعة الدعم وتقدم تعميمًا أفضل في التقسيم القليل المثال. بشكل ملحوظ، حققت نموذجنا درجة mIoU بنسبة 48.1٪ و55.7٪ على مجموعة بيانات PASCAL-5i لحالتي 1-shot و5-shot على التوالي، مما يتفوق على الطريقة الأكثر حداثة بمقدار 1.8٪ و8.6٪.