الهياكل الذاتية التفسير تُحسّن نماذج معالجة اللغة الطبيعية

تُعاني الطرق الحالية لتفسير نماذج التعلم العميق في معالجة اللغة الطبيعية (NLP) من عيبين رئيسيين: (1) انفصال النموذج الرئيسي عن نموذج التفسير: حيث يتم استخدام نموذج استكشافي أو نموذج بديل إضافي لتفسير نموذج موجود، وبالتالي فإن أدوات التفسير الحالية ليست قادرة على التفسير الذاتي؛ (2) لا يمكن لنموذج الاستكشاف تفسير توقعات النموذج إلا من خلال المعالجة على الميزات منخفضة المستوى، وذلك من خلال حساب درجات الحساسية (saliency scores) لكل كلمة على حدة، وهو ما يجعله غير فعّال في التعامل مع الوحدات النصية عالية المستوى مثل العبارات أو الجمل أو الفقرات. لمعالجة هذين المشكلين، نقترح في هذه الورقة إطارًا بسيطًا ولكن عامًا وفعّالًا للتفسير الذاتي للنماذج العميقة في مجال معالجة اللغة الطبيعية. يكمن المبدأ الأساسي لهذا الإطار في إضافة طبقة إضافية، تُسمى بطبقة التفسير، فوق أي نموذج NLP موجود. تجمع هذه الطبقة المعلومات لكل نص محدد (text span)، ثم تُربط كل واحدة منها بوزن معيّن، وتُدخل المزيج الموزون إلى دالة الـ softmax لتحقيق التنبؤ النهائي. يتميّز النموذج المقترح بعدة مزايا: (1) تجعل أوزان النصوص (span weights) النموذج قابلاً للتفسير الذاتي، ولا يتطلب وجود نموذج استكشاف إضافي للتفسير؛ (2) يكون النموذج عامًا ويمكن تكييفه مع أي هيكل موجود من النماذج العميقة في مجال NLP؛ (3) توفر الأوزان المرتبطة بكل نص محدد قيمًا مباشرة لقيمة الأهمية بالنسبة للوحدات النصية عالية المستوى مثل العبارات والجمل. ولأول مرة، نُظهر أن التفسير لا يأتي على حساب الأداء: فنماذج عصبية تعتمد على ميزات ذات تفسير ذاتي تحقق أداءً أفضل من نظيرتها التي لا تمتلك هذه الخاصية، محققةً أداءً قياسيًا جديدًا (SOTA) بلغ 59.1 على مجموعة بيانات SST-5، وأداءً قياسيًا جديدًا بلغ 92.3 على مجموعة بيانات SNLI.