L2G: إطار نقل المعرفة من المحلي إلى العالمي بسيط لتقسيم الدلالة المراقبة بشكل ضعيف

استخلاص خرائط الانتباه الدقيقة المُحددة بالفئة، المعروفة أيضًا بخرائط تنشيط الفئة (Class Activation Maps)، يُعد أمرًا أساسيًا في التجزئة الشاملة الضعيفة التدريب. في هذه الورقة، نقدّم L2G، وهي إطار عمل بسيط لنقل المعرفة من المحلية إلى العالمية بشكل مباشر، مُصمم لاستخراج انتباه كائن عالي الجودة. لاحظنا أن نماذج التصنيف تستطيع اكتشاف مناطق الكائنات بدقة أكبر عند استبدال الصورة المدخلة بقطع محلية منها. وبما أن هذا الوضع مُلاحظ، فإننا نستخدم أولاً شبكة تصنيف محلية لاستخراج الانتباه من عدة قطع محلية تم استخلاصها عشوائيًا من الصورة المدخلة. ثم، نستخدم شبكة عالمية لتعلم معرفة انتباه مكملة عبر عدة خرائط انتباه محلية بشكل مباشر (online). يُتيح إطارنا للشبكة العالمية التعلم من المعرفة الغنية بالتفاصيل الكائنية المُستخلصة من منظور عالمي، مما يؤدي إلى إنتاج خرائط انتباه عالية الجودة يمكن استخدامها مباشرةً كتعليقات افتراضية (pseudo annotations) لشبكات التجزئة الشاملة. أظهرت التجارب أن طريقتنا حققت تقييمات قدرها 72.1% و44.2% من متوسط مقياس التداخل على الوسط (mIoU) على مجموعة التحقق من PASCAL VOC 2012 وMS COCO 2014 على التوالي، مما يُحدث أرقامًا قياسية جديدة في المجال. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/PengtaoJiang/L2G.