ISIM: نموذج تحسين ذاتي تكراري للتفصيل المراقب الضعيف

يُعد التجزئة الدلالية الضعيفة التدريب (WSSS) مهمة صعبة تهدف إلى تعلم تسميات التجزئة من تسميات الفئة فقط. في الأدبيات، يُستخدم على نطاق واسع استغلال المعلومات المستمدة من خرائط التفعيل للصنف (CAMs) في دراسات WSSS. ومع ذلك، وبما أن CAMs تُستخلص من شبكة تصنيف، فإنها تركز على الأجزاء الأكثر تمييزًا للأشياء، مما ينتج عنها معلومات أولية غير كاملة لمهام التجزئة. في هذه الدراسة، لاستخلاص CAMs أكثر اتساقًا مع تسميات التجزئة، نقترح إطارًا يعمل بنهج تكراري في نموذج تجزئة مُعدّل يعتمد على المُشفِّر-الموسع (encoder-decoder)، والذي يدعم في آنٍ واحد مهام التصنيف والتجزئة. وبما أنه لا تُعطى تسميات تجزئة حقيقية (ground-truth)، فإن النموذج نفسه يُولِّد تسميات تجزئة افتراضية (Pseudo-segmentation labels) باستخدام الحقول العشوائية الشرطية الكثيفة (dCRF). وبذلك يصبح الإطار المقترح نموذجًا ذاتيًا يتحسن تدريجيًا عبر التكرار. أظهرت التجارب التي أُجريت باستخدام نماذج DeepLabv3 وUNet تحسنًا ملحوظًا على مجموعة بيانات Pascal VOC12، حيث زادت تطبيق DeepLabv3 من القياس الحالي لأفضل أداء (state-of-the-art) بنسبة 2.5%. يمكن الاطلاع على التنفيذ المرتبط بالتجارب من خلال الرابط التالي: https://github.com/cenkbircanoglu/isim.