HyperAIHyperAI

Command Palette

Search for a command to run...

إدخال بنية العلاقة في تضمينات نماذج اللغة باستخدام التعلم المضاد

Christos Theodoropoulos James Henderson Andrei C. Coman Marie-Francine Moens

الملخص

رغم أن تمثيلات النص التي تُولَد بواسطة نماذج اللغة قد ثّارت الثورة في أبحاث معالجة اللغة الطبيعية، إلا أن قدرتها على التقاط المعلومات الدلالية عالية المستوى، مثل العلاقات بين الكيانات في النص، محدودة. في هذا البحث، نقترح إطارًا جديدًا للتعلم المُضاد (contrastive learning) يُدرّب تمثيلات الجملة لتمثيل العلاقات ضمن هيكل رسومي (graph). مع إعطاء جملة (نص غير منظّم) وهياكلها الرسومية، نستخدم التعلم المُضاد لفرض بنية مرتبطة بالعلاقات على تمثيلات الرموز (token-level representations) للجملة التي تُستخرج باستخدام نموذج CharacterBERT (El Boukkouri et al., 2020). تُظهر النتائج تمثيلات جملة مُدرَّكة للعلاقات التي تحقق أفضل النتائج المُحققة في مهمة استخراج العلاقات باستخدام فحسب تصنيف مُجاور بسيط (KNN)، مما يدل على نجاح المنهج المقترح. كما تُظهر تحليلات التمثيل البصري باستخدام tSNE فعالية الفضاء التمثيلي المُتعلم مقارنةً بالأساليب المعيارية. علاوةً على ذلك، نُظهر إمكانية تعلّم فضاء مختلف لمهام التعرف على الكيانات المُسماة (Named Entity Recognition)، باستخدام هدف تعلم مُضاد مرة أخرى، ونُبيّن كيفية دمج هذين الفضاءين التمثيليين بنجاح في مهمة تربط بين الكيانات والعلاقات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp