HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة الانتباه المُعززة: هجين من الانتباه القاسي والناعم لنمذجة التسلسلات

Tao Shen Tianyi Zhou Guodong Long Jing Jiang Sen Wang Chengqi Zhang

الملخص

تقوم العديد من مهام معالجة اللغة الطبيعية بالاعتماد بشكل حصري على الارتباطات النادرة بين بعض الرموز في الجملة. تظهر آليات الانتباه اللينة أداءً واعداً في نمذجة الارتباطات المحلية/العالمية من خلال احتمالات لينة بين كل زوجين من الرموز، ولكنها ليست فعالة وكفوءة عند تطبيقها على الجمل الطويلة. بالمقابل، تقوم آليات الانتباه القاسية بتحديد مجموعة فرعية مباشرة من الرموز ولكنها صعبة وكفوءة للتدريب بسبب طبيعتها التوافقيّة. في هذا البحث، ندمج كلًا من الانتباه اللين والقاسي في نموذج واحد لدمج السياق يُسمى "الانتباه الذاتي المعزز (ReSA)" لتحقيق المنفعة المتبادلة بينهما. في ReSA، يقوم انتباه قاسي بتقليم التسلسل لمعالجة انتباه ذاتي لين، بينما يرسل الانتباه اللين إشارات مكافأة إلى الخلف لتسهيل تدريب الانتباه القاسي. لهذا الغرض، طورنا آلية انتباه قاسي جديدة تُسمى "عينة التسلسل المعززة (RSS)"، والتي تختار الرموز بالتوازي وتتدرب عبر التدرج السياسة. باستخدام وحدتين من RSS، يتمكن ReSA بكفاءة من استخراج الارتباطات النادرة بين كل زوج من الرموز المختارة. أخيراً، نقترح نموذج ترميز جمل خالي من RNN/CNN يُسمى "شبكة الانتباه الذاتي المعززة (ReSAN)"، والذي يعتمد فقط على ReSA. حقق هذا النموذج أفضل الأداء على كلا مجموعتي البيانات "ستانفورد للإدراك اللغوي الطبيعي (SNLI)" و"الجمل التي تتضمن المعرفة التركيبية (SICK)".


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp