الشبكات العصبية المتكررة السريعة البطيئة

معالجة البيانات التسلسلية ذات الطول المتغير هي تحدي رئيسي في مجموعة واسعة من التطبيقات، مثل التعرف على الكلام، نمذجة اللغة، نمذجة الصور التوليدية والترجمة الآلية. في هذا البحث، نواجه هذا التحدي من خلال اقتراح معمارية جديدة للشبكات العصبية المتكررة (RNN)، وهي الشبكة العصبية السريعة-البطيئة (FS-RNN). تدمج الشبكة FS-RNN قدرات الشبكات العصبية المتكررة متعددة المقياس والشبكات العصبية المتكررة ذات الانتقال العميق حيث تعالج البيانات التسلسلية على مقياس زمني مختلف وتتعلم الدوال الانتقالية المعقدة من خطوة زمنية إلى أخرى. قمنا بتقييم الشبكة FS-RNN على مجموعتين من بيانات نمذجة اللغة على مستوى الحروف، وهما Penn Treebank و Hutter Prize Wikipedia، حيث تحسنا النتائج الرائدة لتصل إلى $1.19$ و $1.25$ بت لكل حرف (BPC) على التوالي. بالإضافة إلى ذلك، حقق مجمعان من شبكتين FS-RNN قيمة $1.20$ بتس لكل حرف (BPC) على بيانات Hutter Prize Wikipedia، مما يتفوق على أفضل خوارزمية ضغط معروفة بحسب مقاييس BPC. كما نقدم دراسة تجريبية لديناميكيات التعلم والشبكة في الشبكة FS-RNN، والتي تفسر الأداء المحسن مقارنة بالمعماريات الأخرى للشبكات العصبية المتكررة. نهجنا عام حيث يمكن لأي نوع من خلايا RNN أن يكون كتلة بنائية محتملة للمعمارية FS-RNN، وبالتالي يمكن تطبيقه بشكل مرناً على مهام مختلفة.