HyperAIHyperAI

Command Palette

Search for a command to run...

تطابق الجمل الدلالي باستخدام المعلومات المتكررة الكثيفة والمعلومات المشتركة الانتباهية

Seonhoon Kim Inho Kang Nojun Kwak

الملخص

يُستخدم مطابقة الجمل على نطاق واسع في مهام مختلفة للغة الطبيعية مثل الاستدلال اللغوي الطبيعي، تحديد التعبيرات المتكافئة، وإجابة الأسئلة. لتنفيذ هذه المهام، يتطلب فهم العلاقة المنطقية والدلالية بين جملتين، ولكن هذا لا يزال تحديًا. رغم أن آلية الانتباه (attention mechanism) مفيدة في التقاط العلاقة الدلالية وفي تطابق عناصر جملتين بشكل صحيح، فإن الأساليب السابقة لآلية الانتباه كانت تستخدم ببساطة عملية الجمع التي لا تحتفظ بالخصائص الأصلية بشكل كافٍ. مستوحى من شبكة الكونفولوشن الكثيفة (DenseNet)، نقترح شبكة عصبية متكررة ذات انتباه مشترك وكثيف الاتصال، حيث تستخدم كل طبقة معلومات ملتصقة للخصائص الانتباهية بالإضافة إلى الخصائص المخفية لجميع الطبقات المتكررة السابقة. هذا يمكّن من الحفاظ على المعلومات الأصلية والمعلومات ذات الانتباه المشترك من أدنى طبقة للتمثيل الكلماتي (word embedding layer) إلى أعلى طبقة متكررة. لحل مشكلة زيادة حجم متجهات الخصائص بشكل مستمر بسبب عمليات التجميع الكثيفة، نقترح أيضًا استخدام كودر ذاتي (autoencoder) بعد التجميع الكثيف. قمنا بتقييم بنية الشبكة المقترحة على مجموعات بيانات مقاييس تنافسية عالية مرتبطة بمطابقة الجمل. أظهرت النتائج التجريبية أن بنيتنا، التي تحتفظ بالخصائص المتكررة والانتباهية، حققت أفضل الأداء في معظم المهام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تطابق الجمل الدلالي باستخدام المعلومات المتكررة الكثيفة والمعلومات المشتركة الانتباهية | مستندات | HyperAI