موكوسا: الزخم التبايني لإكمال الرسم البياني المعرفي باستخدام نماذج اللغة المدربة مسبقًا المعززة بالهيكل

إكمال الرسم البياني المعرفي (KGC) يهدف إلى إجراء الاستدلال على الحقائق داخل الرسوم البيانية المعرفية وإستنتاج الروابط الناقصة تلقائيًا. يمكن تصنيف الأساليب الحالية بشكل أساسي إلى أساليب تعتمد على البنية أو أساليب تعتمد على الوصف. من ناحية، تُمثل الأساليب القائمة على البنية الحقائق العلائقية في الرسوم البيانية المعرفية بفعالية باستخدام تمثيلات الكيانات. ومع ذلك، فإنها تواجه صعوبة مع الكيانات الواقعية الغنية بالمعنى بسبب المعلومات البنيوية المحدودة ولا تستطيع التعميم إلى الكيانات غير المعروفة. من ناحية أخرى، تستفيد الأساليب القائمة على الوصف من النماذج اللغوية المدربة مسبقًا (PLMs) لفهم المعلومات النصية. إنها تظهر قوة متانة عالية تجاه الكيانات غير المعروفة. ومع ذلك، فإنها تواجه صعوبة مع عينات سلبية أكبر وتتأخر غالبًا عن الأساليب القائمة على البنية. لمعالجة هذه المشكلات، نقترح في هذا البحث استخدام التباين الدوامي مع النماذج اللغوية المدربة مسبقًا ذات البنية المعززة (MoCoSA)، مما يسمح للنموذج اللغوي المدرب مسبقًا بالشعور بالمعلومات البنيوية عبر مُرمِّز البنية القابل للتكييف. لتحسين كفاءة التعلم، اقترحنا العينات السلبية الصعبة الدوامية والعينات السلبية ضمن العلاقات. أثبتت النتائج التجريبية أن طريقة الاقتراح الخاصة بنا حققت أفضل الأداء الحالي من حيث المتوسط المرتبط بالرتبة (MRR)، بمعدل تحسن بلغ 2.5% على مجموعة بيانات WN18RR و21% على مجموعة بيانات OpenBG500.