تطابق الجمل الدلالي باستخدام المعلومات المتكررة الكثيفة والمعلومات المشتركة الانتباهية

يُستخدم مطابقة الجمل على نطاق واسع في مهام مختلفة للغة الطبيعية مثل الاستدلال اللغوي الطبيعي، تحديد التعبيرات المتكافئة، وإجابة الأسئلة. لتنفيذ هذه المهام، يتطلب فهم العلاقة المنطقية والدلالية بين جملتين، ولكن هذا لا يزال تحديًا. رغم أن آلية الانتباه (attention mechanism) مفيدة في التقاط العلاقة الدلالية وفي تطابق عناصر جملتين بشكل صحيح، فإن الأساليب السابقة لآلية الانتباه كانت تستخدم ببساطة عملية الجمع التي لا تحتفظ بالخصائص الأصلية بشكل كافٍ. مستوحى من شبكة الكونفولوشن الكثيفة (DenseNet)، نقترح شبكة عصبية متكررة ذات انتباه مشترك وكثيف الاتصال، حيث تستخدم كل طبقة معلومات ملتصقة للخصائص الانتباهية بالإضافة إلى الخصائص المخفية لجميع الطبقات المتكررة السابقة. هذا يمكّن من الحفاظ على المعلومات الأصلية والمعلومات ذات الانتباه المشترك من أدنى طبقة للتمثيل الكلماتي (word embedding layer) إلى أعلى طبقة متكررة. لحل مشكلة زيادة حجم متجهات الخصائص بشكل مستمر بسبب عمليات التجميع الكثيفة، نقترح أيضًا استخدام كودر ذاتي (autoencoder) بعد التجميع الكثيف. قمنا بتقييم بنية الشبكة المقترحة على مجموعات بيانات مقاييس تنافسية عالية مرتبطة بمطابقة الجمل. أظهرت النتائج التجريبية أن بنيتنا، التي تحتفظ بالخصائص المتكررة والانتباهية، حققت أفضل الأداء في معظم المهام.