تصنيف الصور متعددة العلامات من خلال التقطير المعرفي من الكشف شبه المشرف عليه

تصنيف الصور متعدد العلامات هو مهمة أساسية ولكنها صعبة نحو فهم بصرى عام. وجدت الطرق الحالية أن الإشارات على مستوى المنطقة (مثل، الخصائص من RoIs) يمكن أن تساعد في تصنيف متعدد العلامات. ومع ذلك، تتطلب مثل هذه الطرق عادةً ملاحظات دقيقة على مستوى الكائن (أي، علامات الكائن وصناديق الحدود) لتعلم فعال للخصائص البصرية على مستوى الكائن. في هذا البحث، نقترح إطارًا عميقًا جديدًا وكفاءًا لتعزيز تصنيف متعدد العلامات من خلال استخلاص المعرفة من مهمة الكشف تحت الرقابة الضعيفة دون ملاحظات صناديق الحدود. تحديدًا، بالاعتماد على ملاحظات الصورة على المستوى العام، (1) نطور أولًا نموذج كشف تحت الرقابة الضعيفة (WSD)، ثم (2) نبني إطار تصنيف صور متعددة العلامات من النهاية إلى النهاية معزز بواسطة وحدة استخلاص المعرفة التي توجه نموذج التصنيف بواسطة نموذج WSD وفقًا لتوقعات الفئات للصورة بأكملها والخصائص البصرية على مستوى الكائن لمناطق اهتمام الكائن (RoIs). يعتبر نموذج WSD هو النموذج المعلم بينما يعتبر نموذج التصنيف هو النموذج الطالب. بعد هذا الاستخلاص المعرفي بين المهام، يتحسن أداء نموذج التصنيف بشكل كبير ويحافظ على كفاءته حيث يمكن التخلص بأمان من نموذج WSD في مرحلة الاختبار. أظهرت التجارب الواسعة على قاعدتين بيانات كبيرتين (MS-COCO و NUS-WIDE) أن إطاراتنا تحقق أداءً أفضل من الأساليب الأكثر حداثة في كل من الأداء والكفاءة.