MEAformer: متعدد الأوضاع مُحَدِّث تنسيق الكيانات للنمط المختلط

المحاذاة الكيانية متعددة الأوضاع (MMEA) تهدف إلى اكتشاف الكيانات المتطابقة عبر الرسوم البيانية للمعرفة المختلفة (KGs) التي تكون كياناتها مرتبطة بالصور ذات الصلة. ومع ذلك، تعتمد الخوارزميات الحالية لـ MMEA على استراتيجيات دمج الأوضاع على مستوى الرسم البياني للمعرفة لتمثيل الكيانات متعددة الأوضاع، مما يتجاهل التباين في تفضيلات الأوضاع بين الكيانات المختلفة، وبالتالي يقوض المتانة ضد الضوضاء في الأوضاع مثل الصور غير الواضحة والعلاقات. يقدم هذا البحث نموذج MEAformer، وهو نهج متحول للمحاذاة الكيانية متعددة الأوضاع للدمج الميتا-مودي (meta modality hybrid)، حيث يقوم بتوقع معاملات الارتباط المتبادل بين الأوضاع بشكل ديناميكي لتحقيق دمج ومحاذاة أكثر تفصيلاً على مستوى الكيان. تظهر النتائج التجريبية أن نموذجنا ليس فقط يحقق أداءً رائدًا في عدة سيناريوهات تدريبية، بما في ذلك الإشراف الكامل، والإشراف الذاتي، والتدريجي، وأقل الموارد، بل إنه يتميز أيضًا بعدد محدود من المعلمات، وكفاءة زمن التشغيل، وقابلية التفسير. يمكن الوصول إلى شفرتنا البرمجية من خلال الرابط: https://github.com/zjukg/MEAformer.