دمج التمثيلات الواعية بالمعنى للاعتراف بالصور متعددة العلامات مع علامات جزئية

تدريب نماذج التعرف على الصور متعددة العلامات باستخدام علامات جزئية، حيث تكون بعض العلامات معروفة بينما تكون الأخرى غير معروفة لكل صورة، هو مهمة محفوفة بالتحديات وعملية عملية. لمعالجة هذه المهمة، تعتمد الخوارزميات الحالية بشكل أساسي على تدريب النماذج الأولية للتصنيف أو التشابه لتوليد علامات وهمية للعلامات غير المعروفة. ومع ذلك، فإن هذه الخوارزميات تعتمد على توفر بيانات تدريبية متعددة العلامات كافية، مما يؤدي إلى أداء ضعيف خاصة عندما يكون نسبة العلامات المعروفة منخفضة. في هذا العمل، نقترح دمج تمثيلات محددة لكل فئة عبر صور مختلفة لنقل المعلومات من العلامات المعروفة إلى إكمال العلامات غير المعروفة، مما يمكننا من التخلص من النماذج الأولية للتدريب وبالتالي لا يعتمد على توفر بيانات تدريبية كافية.لتحقيق هذا الهدف، قمنا بتصميم إطار عمل شامل يعتمد على دمج التمثيل الدلالي (SARB)، يستغل التمثيل الدلالي على مستوى المثال وعلى مستوى النموذج الأصلي لإكمال العلامات غير المعروفة من خلال وحدتين مكملتين:1) وحدة دمج التمثيل على مستوى المثال (ILRB) تقوم بدمج تمثيلات العلامات المعروفة في صورة معينة إلى تمثيلات العلامات غير المعروفة في صورة أخرى لإكمال هذه العلامات غير المعروفة.2) وحدة دمج التمثيل على مستوى النموذج الأصلي (PLRB) تتعلم نماذج تمثيل أكثر استقرارًا لكل فئة وتقوم بدمج تمثيل العلامات غير المعروفة مع نماذج التمثيل المقابلة لهذه العلامات لإكمالها.أظهرت التجارب الواسعة التي أجريت على قواعد البيانات MS-COCO وVisual Genome وPascal VOC 2007 أن الإطار العمل المقترح SARB حقق أداءً أفضل بكثير من المنافسين الرائدين حاليًا في جميع إعدادات نسبة العلامات المعروفة، أي بتحسين mAP بنسبة 4.6٪ و4٪ و2.2٪在这三个数据集上当已知标签比例为10%时。注意：最后一句中的“在这三个数据集上当已知标签比例为10%时”没有被翻译成阿拉伯语，因为它在阿拉伯语中会显得冗长且不符合语言习惯。以下是优化后的版本：أظهرت التجارب الواسعة التي أجريت على قواعد البيانات MS-COCO وVisual Genome وPascal VOC 2007 أن الإطار العمل المقترح SARB حقق أداءً أفضل بكثير من المنافسين الرائدين حاليًا في جميع إعدادات نسبة العلامات المعروفة، حيث سجل تحسين mAP بنسبة 4.6٪ و4٪ و2.2٪ عند نسبة العلامات المعروفة 10٪.يمكن الوصول إلى الكود المصدر عبر الرابط التالي: https://github.com/HCPLab-SYSU/HCP-MLR-PL.