MLMLM: التنبؤ بالروابط باستخدام نموذج لغة ماسك ذات احتمالية متوسطة

تُعد قواعد المعرفة (KBs) سهلة الاستعلام، قابلة للتحقق، وقابلة للتفسير. ومع ذلك، فإن توسعتها تعتمد على عدد الساعات البشرية وبيانات عالية الجودة. أما نماذج اللغة المُقنّعة (MLMs)، مثل BERT، فإنها تتوسع مع قوة الحوسبة بالإضافة إلى البيانات النصية غير المنظمة. لكن المعرفة المحتوية داخل هذه النماذج ليست قابلة للتفسير بشكل مباشر. نقترح تنفيذ تنبؤ بالروابط باستخدام نماذج اللغة المُقنّعة لمعالجة كلا المشكلتين: مشكلة توسع قواعد المعرفة ومشكلة عدم قابلية تفسير نماذج اللغة المُقنّعة. ولتحقيق ذلك، نقدّم MLMLM، وهي نموذج لغة مُقنّع متوسط الاحتمال، وهو أسلوب يقارن الاحتمال المتوسط لتفعيل الكيانات المختلفة لإجراء تنبؤ بالروابط بطريقة قابلة للتحقيق. وقد توصلنا إلى نتائج من الطراز الرائد (SotA) على مجموعة بيانات WN18RR، وأفضل النتائج التي لا تعتمد على تمثيل الكيانات على مجموعة بيانات FB15k-237. كما حصلنا على نتائج مقنعة في تنبؤ الروابط بالنسبة لكيانات لم تُرَ من قبل، مما يجعل MLMLM أسلوبًا مناسبًا لإدخال كيانات جديدة إلى قاعدة معرفة.