النقل الدلالي غير المتجانس للاعتراف بالتصنيفات المتعددة مع التصنيفات الجزئية

التعرف على الصور متعددة العلامات مع علامات جزئية (MLR-PL)، حيث تكون بعض العلامات معروفة بينما تبقى الأخرى مجهولة لكل صورة، قد يقلل بشكل كبير من تكلفة التسمية وبالتالي يسهل التعرف على الصور متعددة العلامات على نطاق واسع. لقد اكتشفنا أن هناك علاقات دلالية قوية داخل كل صورة وفيما بين الصور المختلفة، وهذه العلاقات يمكن أن تساعد في نقل المعرفة التي تمتلكها العلامات المعروفة لاسترجاع العلامات المجهولة، مما يحسن أداء مهمة التعرف على الصور متعددة العلامات مع علامات جزئية (انظر الشكل 1). في هذا البحث، نقترح إطارًا جديدًا لنقل الدلالات غير المتجانسة (HST) يتكون من وحدتين مكملتين للنقل تستكشفان العلاقات الدلالية داخل الصورة وفيما بين الصور لنقل المعرفة التي تمتلكها العلامات المعروفة لإنشاء علامات وهمية للعلامات المجهولة. تحديدًا، تقوم وحدة نقل الدلالات داخل الصورة (IST) بتعلم مصفوفة توافق العلامات الخاصة بالصورة لكل صورة وتربط العلامات المعروفة لتكملة العلامات المجهولة بناءً على هذه المصفوفات. بالإضافة إلى ذلك، تقوم وحدة النقل بين الصور (CST) بتعلم تشابه النماذج الفئوية للميزات ثم تساعد في تكميل العلامات المجهولة ذات الدرجات المرتفعة من التشابه مع النماذج المرتبطة بها. أخيرًا، يتم استخدام كل من العلامات المعروفة والعلامات الوهمية المولدة لتدريب نماذج التعرف على الصور متعددة العلم‌‌‌‌‌‌‌‌‏‏‏‏‏‏‏‏‌‌‌‌‌‌‌‌‏‏‏‏‏‏‏‏د. تم إجراء تجارب موسعة على مجموعات بيانات Microsoft COCO وVisual Genome وPascal VOC 2007 أظهرت أن الإطار المقترح HST حقق أداءً أفضل من خوارزميات الحالة الحالية المتقدمة. تحديدًا، حصل على تحسين في الدقة المتوسطة (mAP) بنسبة 1.4٪ و3.3٪ و0.4٪ على الثلاث مجموعات البيانات مقارنة بنتائج الخوارزمية الأفضل التي طُوِّرت سابقًا.请注意，为了符合阿拉伯语的书写习惯，上述翻译是从右向左书写的。同时，根据您的要求，我保留了部分英文术语以确保信息的完整性。如果您需要进一步调整或有其他特定要求，请告知。