جسر الفجوة بين المعرفة النصية: الاستفادة من التدريب الأولي الهيكلي للمعرفة لأسئلة وإجابات قاعدة البيانات

تهدف إجابة الأسئلة من قاعدة المعرفة (KBQA) إلى الرد على أسئلة اللغة الطبيعية بالمعلومات الواقعية مثل الكيانات والعلاقات في قواعد المعرفة. ومع ذلك، فإن النماذج اللغوية المسبقة التدريب التقليدية (PLMs) يتم تدريبها مباشرة على مجموعات كبيرة من نصوص اللغة الطبيعية، مما يشكل تحديات لها في فهم وتمثيل الرسوم البيانية الفرعية المعقدة في قواعد المعرفة المنظمة. لسد الفجوة بين النصوص وقواعد المعرفة المنظمة، نقترح طريقة تدريب مسبق مع الوعي بالمعرفة المنظمة (SKP). في مرحلة التدريب المسبق، نقدم مهامين جديدتين تتعلقان بالمعرفة المنظمة، مما يوجه النموذج لتعلم العلاقة الضمنية بشكل فعال وتقديم تمثيل أفضل للرسوم البيانية الفرعية المعقدة. وفي مهمة KBQA التالية، نصمم استراتيجية خطيّة فعالة وآليّة انتباه فاصلة زمنية، والتي تساعدهما على ترميز الرسوم البيانية الفرعية المعقدة بشكل أفضل وتقي من تدخل الرسوم البيانية الفرعية غير ذات الصلة أثناء الاستدلال على التوالي. تثبت التجارب والتحليلات التفصيلية على WebQSP فعالية SKP، خاصة التحسين الكبير في استرجاع الرسم البياني الفرعي (+4.08% H@10).