HyperAIHyperAI

Command Palette

Search for a command to run...

FusionNet: دمج عبر الانتباه الكامل مع تطبيقه على فهم الآلة

Hsin-Yuan Huang Chenguang Zhu Yelong Shen Weizhu Chen

الملخص

يقدم هذا البحث بنية عصبية جديدة تُسمى FusionNet، والتي تمتد من خلال تحسين نماذج الانتباه الحالية من ثلاث زوايا. أولاً، يقترح مفهومًا جديدًا يُعرف بـ "تاريخ الكلمة" لوصف معلومات الانتباه بدءًا من مستوى التضمين الأدنى لكلمة وصولاً إلى التمثيل الدلالي الأعلى. ثانيًا، يُدخل دالة تقييم انتباه محسنة تستفيد بشكل أفضل من مفهوم "تاريخ الكلمة". ثالثًا، يقترح آلية انتباه متعددة المستويات على درجة الوعي الكامل لالتقاط المعلومات الكاملة في نص واحد (مثل السؤال) واستخدامها في النص المقابل (مثل السياق أو الفقرة) طبقة بطبقة.تم تطبيق FusionNet على مجموعة بيانات أسئلة ستانفورد (SQuAD)، وحققت المركز الأول لكل من النموذج الفردي والنموذج المجمع في قائمة SQuAD الرسمية وقت كتابة هذا البحث (4 أكتوبر 2017). وفي الوقت نفسه، تم التحقق من قابلية تعميم FusionNet باستخدام مجموعتين معاديتين من SQuAD، حيث حققت أفضل النتائج الجديدة في كلتا المجموعتين: في AddSent، رفع FusionNet أفضل مؤشر F1 من 46.6٪ إلى 51.4٪؛ وفي AddOneSent، رفع FusionNet أفضل مؤشر F1 من 56.0٪ إلى 60.7٪.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
FusionNet: دمج عبر الانتباه الكامل مع تطبيقه على فهم الآلة | مستندات | HyperAI