HyperAIHyperAI

Command Palette

Search for a command to run...

مُعَدِّل الطور مع الانتباهات المتعددة الطبقات للفهم الآلي

Rui Liu; Wei Wei; Weiguang Mao; Maria Chikina

الملخص

تم دراسة نماذج الانتباه بشكل مكثف لتحسين مهام معالجة اللغة الطبيعية مثل الفهم الآلي من خلال نموذج انتباه النص السؤالي (question-aware passage attention model) ونموذج انتباه التوافق الذاتي (self-matching attention model). تقترح بحوثنا استخدام مرشد الطور (PhaseCond) لنماذج الانتباه بطريقتين ذوي معنى. أولاً، يتألف PhaseCond من هيكل متعدد الطبقات للنماذج الانتباهية، يتضمن عدة مراحل كل منها يطبق تراكيبًا من طبقات الانتباه لإنتاج تمثيلات النص وتراكيبًا من طبقات الاندماج الداخلية أو الخارجية تنظم تدفق المعلومات. ثانياً، نوسع ونحسن دالة الانتباه بالضرب النقطي (dot-product attention function) لـ PhaseCond عن طريق ترميز طبقات متعددة من تمثيلات السؤال والنص من وجهات نظر مختلفة في آن واحد. نظهر فعالية النموذج المقترح PhaseCond على مجموعة بيانات SQuAD، حيث يثبت أن نموذجنا يتفوق بشكل كبير على أفضل النماذج الانتباهية ذات الطبقة الواحدة والمتعددة الطبقات. نعمق نتائجنا بأبحاث جديدة عبر تحليل كمي مفصل وأمثلة مرئية توضح التغيرات الديناميكية التي تحدث في النماذج الانتباهية المتعددة الطبقات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مُعَدِّل الطور مع الانتباهات المتعددة الطبقات للفهم الآلي | مستندات | HyperAI