كشف الفروق ذاتية التدريب للفصل الدلالي المراقب بشكل ضعيف

للتقليل من تكاليف التسمية المرتبطة بتدريب نماذج التجزئة الدلالية، قام الباحثون باستكشاف مقاربات التجزئة المراقبة الضعيفة بشكل واسع. في الأساليب الحالية للتجزئة المراقبة الضعيفة، فإن الأكثر شيوعًا هو الأسلوب القائم على التصور. ومع ذلك، فإن نتائج التصور ليست دائمًا مساوية للتجميع الدلالي. لذلك، لتنفيذ تجزئة دلالية دقيقة في ظل الظروف المراقبة الضعيفة، من الضروري أخذ الدوال التحويلية بعين الاعتبار التي تحوّل نتائج التصور إلى تجزئة دلالية. بالنسبة لهذه الدوال التحويلية، تُستخدم عادةً الحقول العشوائية الشرطية (Conditional Random Fields) وتدوير إعادة تدريب باستخدام مخرجات نموذج التجزئة. ولكن هذه الأساليب لا تضمن دائمًا تحسين الدقة؛ وبالتالي، إذا طبّقنا هذه الدوال التحويلية بشكل تكراري متعدد المرات، فإن الدقة في النهاية لن تتحسن أو قد تنخفض.في هذه الورقة، لاستغلال أقصى إمكانات هذه الدوال التحويلية، نفترض أن نتائج هذه الدوال تحتوي على ضوضاء، ونُحسّن الدقة من خلال إزالة هذه الضوضاء. لتحقيق هذا الهدف، نقترح وحدة الكشف الذاتي عن الفروقات (self-supervised difference detection module)، التي تُقدّر الضوضاء من نتائج الدوال التحويلية من خلال التنبؤ بالاختلاف بين قناعات التجزئة قبل وبعد عملية التحويل. وقد تحققنا من فعالية الطريقة المقترحة من خلال إجراء تجارب على مجموعة بيانات PASCAL Visual Object Classes 2012، وحققنا نسبة 64.9% على مجموعة التحقق (val set) و65.5% على مجموعة الاختبار (test set). وتصبح كلا النتائجين من أحدث النتائج المُحَسَّنة (state-of-the-art) في ظل نفس الإعدادات الخاصة بالتجميع الدلالي المراقب بشكل ضعيف.