شبكة الانتباه الذاتي القائمة على المسافة للاستدلال اللغوي الطبيعي

تم استخدام آلية الانتباه (Attention Mechanism) كوسيلة مساعدة لدعم الشبكات العصبية التكرارية (RNN) أو الشبكات العصبية المُكَوِّنَة (CNN). ومع ذلك، سجَّل النموذج المُحَوَّل (Transformer) أداءً رائدًا في ترجمة الآلة مع تقليل كبير في وقت التدريب من خلال استخدام الانتباه فقط (Vaswani وآخرون، 2017). مستوحىً من نموذج المُحَوَّل، تم اقتراح شبكة الانتباه الذاتي定向 (Directional Self Attention Network) بواسطة Shen وآخرون (2017)، وهي مشفر جملة يعتمد بالكامل على الانتباه. وقد أظهرت هذه الشبكة أداءً جيدًا مع بيانات مختلفة من خلال استخدام المعلومات الاتجاهية للأمام والخلف في الجملة. ولكن في دراستهم، لم يتم الأخذ بعين الاعتبار المسافة بين الكلمات، وهي خاصية مهمة عند تعلم الارتباط المحلي للمساعدة في فهم سياق النص الإدخالي. نقترح شبكتنا للانتباه الذاتي المستند إلى المسافة (Distance-based Self-Attention Network)، والتي تأخذ بعين الاعتبار المسافة بين الكلمات باستخدام قناع مسافة بسيط بهدف نمذجة الارتباط المحلي دون فقدان قدرة الانتباه على نمذجة الارتباط العالمي التي يتمتع بها بشكل متأصل. يظهر نموذجنا أداءً جيدًا مع بيانات الاستدلال اللغوي (NLI)، ويحقق أفضل نتيجة جديدة مع بيانات SNLI. بالإضافة إلى ذلك، نوضح أن نموذجنا يتميز بقوته في الجمل الطويلة أو الوثائق.注：在翻译中，“定向”一词被直接翻译为“الاتجاهي”，以保持术语的专业性和准确性。