محاذاة، تغطية واختيار: طريقة بسيطة لدمج المعرفة الشائعة في نماذج تمثيل اللغة

النماذج المُدربة مسبقًا للتمثيل اللغوي الحالية، مثل تمثيلات المُشفِّر الثنائي الاتجاه من الترانسفورمرز (BERT)، نادراً ما تدمج المعرفة الشائعة أو أنواع أخرى من المعرفة بشكل صريح. نقترح نهجًا للمُدَرَبة المسبقة يهدف إلى دمج المعرفة الشائعة في نماذج التمثيل اللغوي. قمنا ببناء مجموعة أسئلة متعددة الخيارات ذات صلة بالمعرفة الشائعة لتدريب نموذج تمثيل لغوي عصبي. يتم إنشاء هذه المجموعة تلقائيًا باستخدام طريقة "المطابقة، التعتيم، والاختيار" (AMS) المقترحة لدينا. كما نقوم بفحص مهام تدريب مختلفة. تظهر النتائج التجريبية أن النماذج التي تم تدريبها باستخدام النهج المقترح ومن ثم ضبطها الدقيق تحقق تحسينات كبيرة على معيارين شائعين يتعلقان بالمعرفة الشائعة، وهما CommonsenseQA وتحدي شكل وينوغارد (Winograd Schema Challenge). كما لاحظنا أن النماذج التي تم ضبطها الدقيق بعد استخدام النهج المقترح تحافظ على أداء مماثل في مهام معالجة اللغة الطبيعية الأخرى، مثل تصنيف الجمل ومهام الاستدلال اللغوي الطبيعي، بالمقارنة مع نماذج BERT الأصلية. هذه النتائج تؤكد أن النهج المقترح، بينما يحسن بشكل كبير المهام المتعلقة بالمعرفة الشائعة في معالجة اللغة الطبيعية، لا يقلل من قدرات التمثيل اللغوي العامة.