نقل الدلالة المنظم للتصنيف متعدد العلامات مع علامات جزئية

التعرف على الصور متعددة العلامات هو مهمة أساسية ومعملية، نظرًا لأن الصور الحقيقية تمتلك بطبيعتها العديد من العلامات الدلالية. ومع ذلك، فإن جمع التسميات متعددة العلامات على نطاق واسع أمر صعب بسبب تعقيد كل من الصور المدخلة ومجالات العلامات المخرجة. لتخفيض تكلفة التسمية، نقترح إطار عمل نقل دلالي مهيكل (SST) يمكنه تدريب نماذج التعرف على الصور متعددة العلامات باستخدام علامات جزئية، أي أن بعض العلامات معروفة بينما تكون علامات أخرى مفقودة (يشار إليها أيضًا بالعلامات غير المعروفة) لكل صورة. يتكون الإطار العمل من وحدتين مكملتين للنقل يبحثان في الارتباطات الدلالية داخل الصورة وبين الصور لنقل معرفة العلامات المعروفة وتوليد علامات وهمية للعلامات غير المعروفة. تحديداً، تقوم وحدة النقل الدلالي داخل الصورة بتعلم مصفوفة ارتباط خاصة بالصورة وتربط العلامات المعروفة لإكمال العلامات غير المعروفة بناءً على هذه المصفوفة. وفي الوقت نفسه، تقوم وحدة النقل بين الصور بتعلم التشابه الخاص بالميزات حسب الفئة وتساعد في إكمال العلامات غير المعروفة ذات التشابه العالي. أخيراً، يتم استخدام كل من العلامات المعروفة والمنشأة لتدريب نماذج التعرف على الصور متعددة العلامات. أظهرت التجارب الواسعة التي أجريت على قواعد بيانات Microsoft COCO وVisual Genome وPascal VOC أن الإطار العمل المقترح SST يحقق أداءً فائقًا مقارنة بالخوارزميات الرائدة حاليًا. يمكن الحصول على الأكواد من https://github.com/HCPLab-SYSU/HCP-MLR-PL.