ربط الحالات البارزة بين الصور للفصل الدلالي المراقب بشكل ضعيف

إن التغلب على الفجوة بين التسميات الكلمات المفتاحية على مستوى الصورة والبكسلات المقابلة لها في الصورة يعد أحد التحديات الرئيسية في التجزئة الدلالية المراقبة الضعيفة. في هذه الورقة، نستخدم كاشفًا كائنيًا للكائنات البارزة لتحديد تلقائيًا الكائنات البارزة (الكائنات المرشحة) للصور المستخدمة في التدريب. وباستخدام ميزات التشابه المستخرجة من كل كائن بارز في مجموعة التدريب بأكملها، نقوم ببناء رسم بياني للتشابه، ثم نطبق خوارزمية تقسيم الرسم البياني لتقسيمه إلى عدة رسم بيانيات فرعية، بحيث يرتبط كل رسم فرعي بكلمة مفتاحية واحدة (علامة). تسمح لنا خوارزمية التجميع القائمة على تقسيم الرسم البياني بالنظر في العلاقات بين جميع الكائنات البارزة في مجموعة التدريب، فضلًا عن المعلومات المحتواة داخلها. كما نوضح أن استخدام معلومات الانتباه يمكّن خوارزميتنا من تصحيح بعض التعيينات الخاطئة، مما يؤدي إلى نتائج أكثر دقة. يتميز الإطار المقترح بطبيعته العامة، ويمكن دمج أي بنية حديثة لشبكات مراقبة كاملة لتعلم شبكة التجزئة. عند استخدامه مع DeepLab لتجزئة الدلالة، يتفوق أسلوبنا على جميع البدائل المراقبة الضعيفة الرائدة بشكل كبير، حيث يحقق 65.6% من mIoU على مجموعة بيانات PASCAL VOC 2012. كما قمنا بدمج أسلوبنا مع Mask R-CNN لتجزئة الكائنات، وأثبتنا لأول مرة إمكانية التجزئة المراقبة الضعيفة للكائنات باستخدام فقط التسميات الكلمات المفتاحية.