KEPLER: نموذج موحد لتمثيل المعرفة وتمثيل اللغة المُدرب مسبقًا

النماذج التمثيلية للغة المدربة مسبقًا (PLMs) لا تستطيع التقاط المعرفة الواقعية من النص بشكل جيد. بالمقابل، يمكن للطرق المدمجة للمعرفة (KE) أن تمثل الحقائق العلائقية في الرسوم البيانية للمعرفة (KGs) بتمثيلات كيانات غنية بالمعلومات، ولكن النماذج التقليدية لـ KE لا تستطيع الاستفادة الكاملة من المعلومات النصية الوافرة. في هذا البحث، نقترح نموذجًا موحدًا للدمج بين تمثيل المعرفة والتمثيل اللغوي المدرب مسبقًا (KEPLER)، والذي يمكنه ليس فقط دمج المعرفة الواقعية بشكل أفضل في نماذج PLMs، بل أيضًا إنتاج دمج فعال للمعرفة مع تعزيز النص باستخدام نماذج PLMs القوية. في KEPLER، نقوم بتشفير وصف الكيانات النصية باستخدام نموذج PLM كتمثيلاتها، ومن ثم نقوم بتحسين أهداف الدمج بين المعرفة والنمذجة اللغوية بشكل مشترك. تظهر النتائج التجريبية أن KEPLER يحقق أداءً رائدًا في مجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP)، كما يعمل بشكل ممتاز كنموذج دمج استقرائي لـ KE في تنبؤ الروابط في الرسوم البيانية للمعرفة. بالإضافة إلى ذلك، لتدريب وتقدير KEPLER، قمنا ببناء Wikidata5M، وهو مجموعة بيانات كبيرة الحجم للرسوم البيانية للمعرفة مع وصف الكيانات المتوازنة، وقمنا بقياس أداء أفضل الطرق الحديثة لـ KE عليها. يجب أن تعمل هذه المجموعة كمعيار جديد لدمج المعرفة وتسهل البحث حول الرسوم البيانية للمعرفة الكبيرة الحجم، والدمج الاستقرائي للمعرفة، والرسوم البيانية للمعرفة مع النصوص. يمكن الحصول على الشيفرة المصدرية من https://github.com/THU-KEG/KEPLER.