HyperAIHyperAI

Command Palette

Search for a command to run...

EleAtt-RNN: إضافة الانتباه إلى الخلايا العصبية في الشبكات العصبية التكرارية

Pengfei Zhang Jianru Xue, Member, IEEE Cuiling Lan, Member, IEEE Wenjun Zeng, Fellow, IEEE Zhanning Gao Nanning Zheng, Fellow, IEEE

الملخص

الشبكات العصبية المتكررة (RNNs) قادرة على نمذجة الارتباطات الزمنية للبيانات التسلسلية المعقدة. بشكل عام، تركز الهياكل المتاحة حاليًا للشبكات العصبية المتكررة على التحكم في مساهمة المعلومات الحالية والسابقة. ومع ذلك، يتم دائمًا تجاهل استكشاف مستويات الأهمية المختلفة للعناصر المختلفة داخل متجه الإدخال. نقترح بوابة انتباه عناصرية بسيطة وفعالة (Element-wise-Attention Gate - EleAttG)، والتي يمكن إضافتها بسهولة إلى كتلة RNN (مثل جميع الخلايا العصبية في طبقة RNN) لتمكين الخلايا العصبية من قدرة الانتباه. بالنسبة لكتلة RNN، تُستخدم بوابة EleAttG لتكييف الإدخال بشكل متكيف عن طريق تعيين مستويات مختلفة من الأهمية، أي الانتباه، لكل عنصر/بعد من أبعاد الإدخال. نشير إلى كتلة RNN مجهزة ببوابة EleAttG باسم كتلة EleAtt-RNN. بدلاً من تعديل الإدخال ككل، تقوم بوابة EleAttG بتعديل الإدخال بمرونة دقيقة، أي على أساس كل عنصر، والتعديل يكون متكيف مع المحتوى. يُعد المقترح لبوابة EleAttG وحدة أساسية إضافية عامة يمكن تطبيقها على أي هياكل للشبكات العصبية المتكررة، مثل الشبكة العصبية المتكررة القياسية (Standard RNN)، ذاكرة طويلة المدى قصيرة (Long Short-Term Memory - LSTM)، أو الوحدة المتكررة ذات البوابات (Gated Recurrent Unit - GRU). نوضح فعالية المقترح لكتلة EleAtt-RNN من خلال تطبيقه على مهام مختلفة بما في ذلك التعرف على الحركات من البيانات المستندة إلى الهيكل العظمي وفيديوهات RGB، والتعرف على الإيماءات، تصنيف MNIST التسلسلي. تظهر التجارب أن إضافة قدرة الانتباه عبر بوابات EleAttG إلى كتل RNN يحسن بشكل كبير قوة الشبكات العصبية المتكررة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp