التدريب التعاوني المراقب بشكل ضعيف مع تبادل التعيينات للتقسيم الدلالي

تُستخدم خرائط تفعيل الفئة (CAMs) بشكل شائع في التجزئة الدلالية المُراقبة الضعيفة (WSSS) لإنتاج تسميات وهمية. نظرًا لعدم اكتمال أو تجاوز تفعيل الفئة، غالبًا ما تلجأ الدراسات الحالية إلى تحسين CAMs خارج الزمن (offline)، مما يؤدي إلى إدخال مراحل إضافية أو اقتراح وحدات خارجية. وقد يسبب هذا صعوبات في التحسين بالنسبة للطرق أحادية المرحلة، ويحد من قابليتها العامة. في هذه الدراسة، نهدف إلى تقليل التناقض والخطأ الملاحظ في CAMs لتقليل الاعتماد على عمليات التحسين. نقترح نموذجًا متكاملًا (end-to-end) لـ WSSS يدمج CAMs موجهة، حيث يتم تدريب نموذج التجزئة في الوقت نفسه الذي يتم فيه تحسين CAMs بشكل مباشر (online). يعتمد منهجنا، المعروف بـ Co-training with Swapping Assignments (CoSA)، على إطار عمل ثنائي التدفق، حيث تتعلم شبكة فرعية من التعيينات المُستبدلة التي تُولّدها الشبكة الأخرى. نقدم ثلاث تقنيات: (i) ت regularization قائمة على الالتباس الناعم لمعاقبة المناطق غير المؤكدة؛ (ii) منهجية بحث العتبة لتعديل عتبة الثقة ديناميكيًا؛ و(iii) الفصل التبايني (contrastive separation) لمعالجة مشكلة التواجد المزدوج. تُظهر CoSA أداءً استثنائيًا، حيث تحقق mIoU قدرها 76.2% و51.0% على مجموعتي بيانات التحقق من VOC وCOCO على التوالي، متفوقةً بفارق كبير على النماذج السابقة. ومن المهم الإشارة إلى أن CoSA هي أول طريقة أحادية المرحلة تتفوق على جميع الطرق المتعددة المراحل الحالية، بما في ذلك تلك التي تستخدم مراقبة إضافية. يمكن الوصول إلى الكود من خلال الرابط: \url{https://github.com/youshyee/CoSA}.