تجاوز التجزئة الدلالية إلى التجزئة النمطية: التجزئة النمطية شبه المراقبة عبر نقل المعرفة الدلالية والتحسين الذاتي

يُعتبر التقطيع الشائع للعناصر (WSIS) مهمة أكثر تحديًا من التقطيع الشائع للدلالات (WSSS). مقارنةً بـ WSSS، يتطلب WSIS تحديد مواقع العناصر بشكل فردي، وهو أمر صعب استخراجه من تسميات الصور على مستوى الصورة. لمعالجة هذه المشكلة، تستخدم معظم نهج WSIS تقنيات اقتراح جاهزة تتطلب التدريب المسبق باستخدام تسميات على مستوى العنصر أو الكائن، مما يحيد عن التعريف الأساسي للإعداد المشرف عليه بالكامل على مستوى الصورة. في هذا البحث، نقترح نهجًا جديدًا يتضمن مكونين مبتكرَين. أولاً، نقترح نقل المعرفة الدلالية للحصول على تسميات عناصر وهمية بنقل معرفة WSSS إلى WSIS مع القضاء على الحاجة إلى الاقتراحات الجاهزة. ثانياً، نقترح طريقة تحسين ذاتي لتحسين التسميات الوهمية للعناصر في إطار ذاتي الإشراف واستخدام هذه التسميات المحسنة للتدريب بطريقة مستمرة. هنا، نكتشف ظاهرة خاطئة هي الانحراف الدلالي التي تحدث بسبب غياب العناصر في التسميات الوهمية للعناصر التي يتم تصنيفها ضمن فئة الخلفية. يؤدي هذا الانحراف الدلالي إلى الالتباس بين الخلفية والعناصر أثناء التدريب وبالتالي يضعف أداء التقطيع. نطلق على هذه المشكلة اسم مشكلة الانحراف الدلالي ونوضح أن طريقة التحسين الذاتي المقترحة لدينا تقضي على مشكلة الانحراف الدلالي. تُظهر التجارب الواسعة على قاعدة بيانات PASCAL VOC 2012 و MS COCO فعالية نهجنا، وقد حققنا أداءً ملحوظًا دون استخدام تقنيات الاقتراح الجاهزة. يمكن الوصول إلى الرمز البرمجي عبر الرابط: https://github.com/clovaai/BESTIE.