KELM: تمثيلات لغوية مُدرَّبة مسبقًا مُعززة بالمعرفة مع تمرير الرسائل على رسوم بيانية ذاتية ترابطية هرمية

إدماج المعرفة الواقعية في النماذج اللغوية المُدرَّبة مسبقًا (PLM) مثل BERT يُعد اتجاهًا ناشئًا في الدراسات الحديثة في معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظم الطرق الحالية تدمج وحدة دمج المعرفة الخارجية مع خسارة مُعدّلة للتدريب المسبق، ثم تعيد تنفيذ عملية التدريب المسبق على مجموعات بيانات ضخمة. وعادةً ما تكون إعادة تدريب هذه النماذج مكلفة من حيث الموارد، وصعبة التكيف مع مجالات أخرى تمتلك رسمًا معرفيًا مختلفًا (KG). علاوةً على ذلك، تفتقر هذه الدراسات إما إلى القدرة على تضمين سياق المعرفة بشكل ديناميكي وفقًا لسياق النص، أو تعاني من مشكلة الغموض في المعرفة. في هذه الورقة، نقترح إطارًا جديدًا لنموذج لغوي يُراعي المعرفة، يقوم على عملية التحسين الدقيق (fine-tuning)، ويُزوّد النموذج المُدرّب مسبقًا بمعرفة مُحسّنة موحدة تُشكّل رسمًا نصيًا يحتوي على النص والرسوم الفرعية متعددة العلاقات المستخرجة من الرسم المعرفي (KG). وقد صممنا آلية تبادل الرسائل القائمة على الرسم الهرمي للعلاقات، التي تتيح تحديثًا متبادلًا بين تمثيلات الرسم المعرفي المُدمج والنصوص، وتمكّن من اختيار ديناميكي للكيانات المذكورة التي تتشابه في النص ولكنها قد تكون مختلفة من حيث المعنى. تُظهر النتائج التجريبية أن نموذجنا يمكنه دمج المعرفة العالمية من الرسوم المعرفية (KG) في النماذج اللغوية الحالية مثل BERT بكفاءة، ويحقق تحسنًا ملحوظًا في مهام فهم القراءة الآلية (MRC) مقارنةً بالنماذج الأخرى المُحسّنة بالمعرفة.