HyperAIHyperAI

Command Palette

Search for a command to run...

الهياكل الذاتية التفسير تُحسّن نماذج معالجة اللغة الطبيعية

Zijun Sun Chun Fan Qinghong Han Xiaofei Sun Yuxian Meng Fei Wu Jiwei Li

الملخص

تُعاني الطرق الحالية لتفسير نماذج التعلم العميق في معالجة اللغة الطبيعية (NLP) من عيبين رئيسيين: (1) انفصال النموذج الرئيسي عن نموذج التفسير: حيث يتم استخدام نموذج استكشافي أو نموذج بديل إضافي لتفسير نموذج موجود، وبالتالي فإن أدوات التفسير الحالية ليست قادرة على التفسير الذاتي؛ (2) لا يمكن لنموذج الاستكشاف تفسير توقعات النموذج إلا من خلال المعالجة على الميزات منخفضة المستوى، وذلك من خلال حساب درجات الحساسية (saliency scores) لكل كلمة على حدة، وهو ما يجعله غير فعّال في التعامل مع الوحدات النصية عالية المستوى مثل العبارات أو الجمل أو الفقرات. لمعالجة هذين المشكلين، نقترح في هذه الورقة إطارًا بسيطًا ولكن عامًا وفعّالًا للتفسير الذاتي للنماذج العميقة في مجال معالجة اللغة الطبيعية. يكمن المبدأ الأساسي لهذا الإطار في إضافة طبقة إضافية، تُسمى بطبقة التفسير، فوق أي نموذج NLP موجود. تجمع هذه الطبقة المعلومات لكل نص محدد (text span)، ثم تُربط كل واحدة منها بوزن معيّن، وتُدخل المزيج الموزون إلى دالة الـ softmax لتحقيق التنبؤ النهائي. يتميّز النموذج المقترح بعدة مزايا: (1) تجعل أوزان النصوص (span weights) النموذج قابلاً للتفسير الذاتي، ولا يتطلب وجود نموذج استكشاف إضافي للتفسير؛ (2) يكون النموذج عامًا ويمكن تكييفه مع أي هيكل موجود من النماذج العميقة في مجال NLP؛ (3) توفر الأوزان المرتبطة بكل نص محدد قيمًا مباشرة لقيمة الأهمية بالنسبة للوحدات النصية عالية المستوى مثل العبارات والجمل. ولأول مرة، نُظهر أن التفسير لا يأتي على حساب الأداء: فنماذج عصبية تعتمد على ميزات ذات تفسير ذاتي تحقق أداءً أفضل من نظيرتها التي لا تمتلك هذه الخاصية، محققةً أداءً قياسيًا جديدًا (SOTA) بلغ 59.1 على مجموعة بيانات SST-5، وأداءً قياسيًا جديدًا بلغ 92.3 على مجموعة بيانات SNLI.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp