إعادة النظر في وتعظيم المعرفة الزمنية في التجزئة الدلالية شبه المشرفة

في مجال التجزئة الدلالية شبه المشرف، يتم استخدام نهج Mean Teacher و co-training لتخفيف تحيز التأكيد والمشاكل المرتبطة بالترابط. ومع ذلك، على الرغم من أدائهم العالي، فإن هذه النهج غالبًا ما تتضمن أنابيب تدريب معقدة وعبء حسابي كبير، مما يحد من قابلية توسيع هذه الطرق ومتوافقها. في هذا البحث، نقترح إطار عمل PrevMatch الذي يخفف بشكل فعال القيود المذكورة أعلاه من خلال تعظيم الاستفادة من المعرفة الزمنية التي يتم الحصول عليها أثناء عملية التدريب. يعتمد إطار عمل PrevMatch على استراتيجيتين أساسيتين: (1) نعيد النظر في استخدام المعرفة الزمنية وبالتالي نستخدم مباشرة النماذج السابقة التي تم الحصول عليها أثناء التدريب لإنتاج إرشادات مزيفة إضافية، والتي تُشار إليها باسم الإرشاد السابق. (2) نصمم استراتيجية تجميع عشوائية عالية لتعظيم فعالية الإرشاد السابق. تؤكد النتائج التجريبية على أربعة مجموعات بيانات مرجعية للتجزئة الدلالية أن الطريقة المقترحة تتفوق باستمرار على الطرق الحالية بموجب بروتوكولات تقييم مختلفة. وبشكل خاص، باستخدام إعدادات الشبكات DeepLabV3+ و ResNet-101، يتفوق PrevMatch على أفضل طريقة موجودة حاليًا وهي Diverse Co-training بمقدار +1.6 mIoU على مجموعة بيانات Pascal VOC باستخدام فقط 92 صورة مشهرة، مع تحقيق سرعة تدريب أسرع بمقدار 2.4 مرة. بالإضافة إلى ذلك، تشير النتائج إلى أن PrevMatch يحفز التحسين المستقر، خاصة بالنسبة للتصنيفات التي تعاني من أداء ضعيف. يمكن الوصول إلى الكود عبر الرابط: https://github.com/wooseok-shin/PrevMatch