مُعَدِّل الطور مع الانتباهات المتعددة الطبقات للفهم الآلي

تم دراسة نماذج الانتباه بشكل مكثف لتحسين مهام معالجة اللغة الطبيعية مثل الفهم الآلي من خلال نموذج انتباه النص السؤالي (question-aware passage attention model) ونموذج انتباه التوافق الذاتي (self-matching attention model). تقترح بحوثنا استخدام مرشد الطور (PhaseCond) لنماذج الانتباه بطريقتين ذوي معنى. أولاً، يتألف PhaseCond من هيكل متعدد الطبقات للنماذج الانتباهية، يتضمن عدة مراحل كل منها يطبق تراكيبًا من طبقات الانتباه لإنتاج تمثيلات النص وتراكيبًا من طبقات الاندماج الداخلية أو الخارجية تنظم تدفق المعلومات. ثانياً، نوسع ونحسن دالة الانتباه بالضرب النقطي (dot-product attention function) لـ PhaseCond عن طريق ترميز طبقات متعددة من تمثيلات السؤال والنص من وجهات نظر مختلفة في آن واحد. نظهر فعالية النموذج المقترح PhaseCond على مجموعة بيانات SQuAD، حيث يثبت أن نموذجنا يتفوق بشكل كبير على أفضل النماذج الانتباهية ذات الطبقة الواحدة والمتعددة الطبقات. نعمق نتائجنا بأبحاث جديدة عبر تحليل كمي مفصل وأمثلة مرئية توضح التغيرات الديناميكية التي تحدث في النماذج الانتباهية المتعددة الطبقات.