التصنيف الدلالي الضعيف التدريب من خلال التعلم العدواني للمرشح والمُعاد تشكيله

في التصنيف الدلالي الضعيف (WSSS)، غالبًا ما تُظهر خرائط التنشيط الفئة (CAMs) نقطتين أساسيتين: أولاً، لا تغطي الكائن بالكامل، وثانيًا، تُنشّط في مناطق غير ذات صلة. ولحل هذه المشكلات، نقترح إطار عمل جديد لـ WSSS من خلال التعلم المضاد بين فئة تصنيفية ومحول صورة. عندما يتم تفكيك صورة بالكامل إلى أجزاء متميزة حسب الفئات، لا يمكن استخلاص معلومات (مثل اللون أو النسيج) الخاصة بجزء واحد من الأجزاء الأخرى. وبالتالي، يمكن أن تمثل قابلية الاستخلاص بين الأجزاء دقة التصنيف. نقوم بقياس قابلية الاستخلاص من خلال جودة إعادة بناء جزء ما من الأجزاء الأخرى. فإذا كان يمكن إعادة بناء جزء ما من الأجزاء الأخرى، فهذا يدل على أن هذا الجزء غير دقيق. ولتطبيق هذه الفكرة في إطار WSSS، ندرّب نموذجين معًا: نموذج تصنيف يُولّد خرائط التنشيط الفئة (CAMs) التي تقوم بتفكيك الصورة إلى أجزاء، ونموذج آخر يُقيّم قابلية الاستخلاص بين هذه الأجزاء. تمامًا كما في الشبكات التوليدية التصادمية (GANs)، يتم تدريب الشبكتين بشكل متزامن وبطريقة تصادمية متداخلة، مما يوفر تغذية راجعة إيجابية بينهما. ونُثبت تفوق الإطار المقترح من خلال دراسات تحليلية واسعة النطاق. وحققت طريقة العمل هذه أداءً جديدًا في الصدارة على كلا المجموعتين PASCAL VOC 2012 وMS COCO 2014. يمكن الاطلاع على الكود من خلال الرابط: https://github.com/sangrockEG/ACR.