تمثيلات كلمات سياقية مُعززة بالمعرفة

تمثيلات الكلمات السياقية، التي تُدرَّب عادةً على نصوص غير منظمة وغير مُعلَّمة، لا تحتوي على أي تثبيت صريح للعوامل الواقعية، وغالبًا ما تكون غير قادرة على تذكّر الحقائق المتعلقة بهذه العوامل. نقترح طريقة عامة لدمج قواعد المعرفة (KBs) المتعددة في النماذج الضخمة، بهدف تحسين تمثيلاتها من خلال معرفة منظمة وتم جمعها يدويًا من قبل البشر. بالنسبة لكل قاعدة معرفة، نستخدم أولًا رابطًا كائنيًا مُدمجًا للعثور على تمثيلات الكائنات ذات الصلة، ثم نُحدِّث تمثيلات الكلمات السياقية من خلال نوع من الانتباه من الكلمة إلى الكائن. وعلى عكس النماذج السابقة، يتم تدريب روابط الكائنات ووظيفة نمذجة اللغة ذاتية التدريب بشكل مشترك ونهائيًا في بيئة متعددة المهام، والتي تجمع بين كمية صغيرة من الإشراف على ربط الكائنات وكمية كبيرة من النصوص الخام. وبعد دمج WordNet وجزء من ويكيبيديا في نموذج BERT، أظهر نموذج BERT المُعزّز بالمعرفة (KnowBert) تحسنًا في التخمين (perplexity)، وقدرة أفضل على استرجاع الحقائق، كما قُيّمت في مهمة استقصاء، وتحسين الأداء في المهام اللاحقة مثل استخراج العلاقات، وتصنيف الكائنات، وتحديد المعنى الدلالي للكلمات. وتماشيًا مع BERT، يتمتع KnowBert بوقت تشغيل مماثل، كما أنه قابل للتوسع لدعم قواعد معرفة ضخمة.