EleAtt-RNN: إضافة الانتباه إلى الخلايا العصبية في الشبكات العصبية التكرارية

الشبكات العصبية المتكررة (RNNs) قادرة على نمذجة الارتباطات الزمنية للبيانات التسلسلية المعقدة. بشكل عام، تركز الهياكل المتاحة حاليًا للشبكات العصبية المتكررة على التحكم في مساهمة المعلومات الحالية والسابقة. ومع ذلك، يتم دائمًا تجاهل استكشاف مستويات الأهمية المختلفة للعناصر المختلفة داخل متجه الإدخال. نقترح بوابة انتباه عناصرية بسيطة وفعالة (Element-wise-Attention Gate - EleAttG)، والتي يمكن إضافتها بسهولة إلى كتلة RNN (مثل جميع الخلايا العصبية في طبقة RNN) لتمكين الخلايا العصبية من قدرة الانتباه. بالنسبة لكتلة RNN، تُستخدم بوابة EleAttG لتكييف الإدخال بشكل متكيف عن طريق تعيين مستويات مختلفة من الأهمية، أي الانتباه، لكل عنصر/بعد من أبعاد الإدخال. نشير إلى كتلة RNN مجهزة ببوابة EleAttG باسم كتلة EleAtt-RNN. بدلاً من تعديل الإدخال ككل، تقوم بوابة EleAttG بتعديل الإدخال بمرونة دقيقة، أي على أساس كل عنصر، والتعديل يكون متكيف مع المحتوى. يُعد المقترح لبوابة EleAttG وحدة أساسية إضافية عامة يمكن تطبيقها على أي هياكل للشبكات العصبية المتكررة، مثل الشبكة العصبية المتكررة القياسية (Standard RNN)، ذاكرة طويلة المدى قصيرة (Long Short-Term Memory - LSTM)، أو الوحدة المتكررة ذات البوابات (Gated Recurrent Unit - GRU). نوضح فعالية المقترح لكتلة EleAtt-RNN من خلال تطبيقه على مهام مختلفة بما في ذلك التعرف على الحركات من البيانات المستندة إلى الهيكل العظمي وفيديوهات RGB، والتعرف على الإيماءات، تصنيف MNIST التسلسلي. تظهر التجارب أن إضافة قدرة الانتباه عبر بوابات EleAttG إلى كتل RNN يحسن بشكل كبير قوة الشبكات العصبية المتكررة.