HyperAIHyperAI

Command Palette

Search for a command to run...

SG-Net: فهم القراءة الآلية الموجه بالتركيب النحوي

Zhuosheng Zhang; Yuwei Wu; Junru Zhou; Sufeng Duan; Hai Zhao; Rui Wang

الملخص

للفهم الآلي للقراءة، يعد القدرة على نمذجة المعرفة اللغوية بشكل فعال من النصوص الطويلة والمحملة بالتفاصيل وإزالة الضوضاء أمراً ضرورياً لتحسين أدائها. تركز النماذج التقليدية المعتمدة على الانتباه على جميع الكلمات دون قيود صريحة، مما يؤدي إلى التركيز غير الدقيق على بعض الكلمات القابلة للتخلص. في هذا العمل، نقترح استخدام بنية الجملة لتوجيه نمذجة النص من خلال دمج قيود نحوية صريحة في آلية الانتباه للحصول على تمثيلات كلمات أكثر دوافع لغوية. بالتفصيل، بالنسبة للشبكة ذاتية الانتباه (Self-Attention Network - SAN) التي يدعمها مُشفِّر Transformer، نقدم تصميم الاعتماد النحوي المثير للاهتمام (Syntactic Dependency of Interest - SDOI) إلى SAN لإنشاء SDOI-SAN مع انتباه ذاتي موجه نحوياً. ثم يتم تكوين الشبكة الموجهة نحوياً (Syntax-Guided Network - SG-Net) من خلال هذه SAN الإضافية الموجهة نحوياً وSAN الأصلية من مُشفِّر Transformer عبر هندسة سياقية ثنائية لتحقيق تمثيلات مستوحاة من علم اللغة بشكل أفضل. لتأكيد فعاليتها، تم تطبيق الشبكة المقترحة SG-Net على نموذج اللغة المدرب مسبقاً BERT الذي يعتمد بدوره على مُشفِّر Transformer. أظهرت التجارب الواسعة على مقاييس شائعة مثل SQuAD 2.0 وRACE أن التصميم المقترح لـ SG-Net يساعد في تحقيق تحسينات كبيرة في الأداء فوق خطوط الأساس القوية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp