إدخال بنية العلاقة في تضمينات نماذج اللغة باستخدام التعلم المضاد

رغم أن تمثيلات النص التي تُولَد بواسطة نماذج اللغة قد ثّارت الثورة في أبحاث معالجة اللغة الطبيعية، إلا أن قدرتها على التقاط المعلومات الدلالية عالية المستوى، مثل العلاقات بين الكيانات في النص، محدودة. في هذا البحث، نقترح إطارًا جديدًا للتعلم المُضاد (contrastive learning) يُدرّب تمثيلات الجملة لتمثيل العلاقات ضمن هيكل رسومي (graph). مع إعطاء جملة (نص غير منظّم) وهياكلها الرسومية، نستخدم التعلم المُضاد لفرض بنية مرتبطة بالعلاقات على تمثيلات الرموز (token-level representations) للجملة التي تُستخرج باستخدام نموذج CharacterBERT (El Boukkouri et al., 2020). تُظهر النتائج تمثيلات جملة مُدرَّكة للعلاقات التي تحقق أفضل النتائج المُحققة في مهمة استخراج العلاقات باستخدام فحسب تصنيف مُجاور بسيط (KNN)، مما يدل على نجاح المنهج المقترح. كما تُظهر تحليلات التمثيل البصري باستخدام tSNE فعالية الفضاء التمثيلي المُتعلم مقارنةً بالأساليب المعيارية. علاوةً على ذلك، نُظهر إمكانية تعلّم فضاء مختلف لمهام التعرف على الكيانات المُسماة (Named Entity Recognition)، باستخدام هدف تعلم مُضاد مرة أخرى، ونُبيّن كيفية دمج هذين الفضاءين التمثيليين بنجاح في مهمة تربط بين الكيانات والعلاقات.