SPOT: تمثيلات اللغة المعززة بالمعرفة لاستخراج المعلومات
تم إظهار أن نماذج التعلم المسبقة المعززة بالمعرفة لتمثيل اللغة تكون أكثر فعالية في مهام بناء قواعد البيانات المعرفية (مثل استخراج العلاقات) مقارنة بنماذج اللغة مثل BERT. تقوم هذه النماذج المعززة بالمعرفة بدمج المعرفة في مرحلة التعلم السابقة لإنشاء تمثيلات للعناصر أو العلاقات. ومع ذلك، فإن الطرق الحالية تميل إلى تمثيل كل عنصر بمتجه منفصل (متجهات التضمين). نتيجة لذلك، تواجه هذه الطرق صعوبة في تمثيل العناصر خارج القاموس والمتجهات، ويجب استخدام كمية كبيرة من المعلمات فوق نماذج الرموز الأساسية (مثل المحول) وعدد العناصر التي يمكن التعامل معها محدود عمليًا بسبب قيود الذاكرة. بالإضافة إلى ذلك، لا تزال النماذج الحالية تعاني من صعوبة في تمثيل العناصر والعلاقات بشكل متزامن.لحل هذه المشكلات، نقترح نموذجًا متعلمًا مسبقًا جديدًا يتعلم تمثيلات للعناصر والعلاقات من أجزاء النص (spans) وأزواج الأجزاء النصية على التوالي. من خلال ترميز الأجزاء بكفاءة باستخدام وحدات الأجزاء، يمكن لنموذجنا تمثيل العناصر والعلاقات المرتبطة بها ولكنه يحتاج إلى عدد أقل من المعلمات مقارنة بالنماذج الحالية. قمنا بتدريب نموذجنا بشكل مسبق باستخدام الرسم البياني المعرفي المستخرج من ويكيبيديا واختبرناه على مجموعة واسعة من مهام استخراج المعلومات تحت الإشراف وبغير إشراف. أظهرت النتائج أن نموذجنا يتعلم تمثيلات أفضل للعناصر والعلاقات مقارنة بالأسس، وأنه في الإعدادات الخاضعة للإشراف، يتم تحسين أداء نموذجنا بشكل مستمر عند ضبطه الدقيق ويحقق نتائج تنافسية في مهام استخراج المعلومات.