إعادة التفكير في عدم اليقين والفقدان غير المؤكد والغموض في الوسائط البصرية متعددة الأوضاع في مواءمة الكيانات المتعددة الأوضاع

كامتداد حاسم لمطابقة الكيانات (EA)، تهدف مطابقة الكيانات متعددة الوسائط (MMEA) إلى تحديد الكيانات المتطابقة عبر الرسوم البيانية للمعرفة المختلفة (KGs) من خلال استغلال المعلومات المرئية المرتبطة. ومع ذلك، فإن معظم النماذج الحالية لـ MMEA تركز بشكل أساسي على نموذج دمج خصائص الكيانات متعددة الوسائط، بينما تتجاهل التحديات التي يطرحها الظاهرة الشائعة لنقصان وغموض الصور المرئية. في هذا البحث، نقدم تحليلًا أعمق لعدم اكتمال الوسيط المرئي، ونقيم أحدث نماذج MMEA على مجموعة البيانات المقترحة لدينا MMEA-UMVM، حيث تغطي أنواع مطابقة الرسوم البيانية للمعرفة الثنائية واللغوية الواحدة، باستخدام نماذج تدريب قياسية (غير متكررة) ومتكررة لتقييم أداء النموذج. يشير بحثنا إلى أنه في مواجهة عدم اكتمال الوسيط، تتعرض النماذج للتكيف الزائد مع الضوضاء الوسيطة، وتظهر تقلبات أو انخفاضات في الأداء عند معدلات عالية من نقصان الوسيط. وهذا يثبت أن إضافة بيانات متعددة الوسائط إضافية يمكن أن تكون ضارة أحيانًا لمطابقة الكيانات. لمعالجة هذه التحديات، نقدم UMAEA ، وهي طريقة صلبة لمطابقة الكيانات متعددة الوسائط مصممة للتعامل مع الغموض وعدم وجود الصور المرئية. إنها تحقق أداءً رائدًا باستمرار في جميع التقسيمات الـ 97 للمجموعة المعيارية، وتتفوق بشكل كبير على الأساليب الأساسية الحالية بأعداد محدودة من المعلمات وفي وقت استهلاك قليل، بينما تعمل بكفاءة على تخفيف القيود المحددة للنماذج الأخرى. رمز البرمجيات ومجموعة البيانات المعيارية متاحة على الرابط: https://github.com/zjukg/UMAEA.