الشبكات العصبية المتكررة الموسعة

التعلم باستخدام الشبكات العصبية التكرارية (RNNs) على التسلسلات الطويلة هو مهمة معروفة بصعوبتها. هناك ثلاثة تحديات رئيسية: 1) الارتباطات المعقدة، 2) تلاشي وتضخم التدرجات، و3) التوازي الفعال. في هذا البحث، نقدم بنية اتصال بسيطة ومعتبرة للشبكات العصبية التكرارية، وهي DilatedRNN، والتي تواجه جميع هذه التحديات بشكل متزامن. يتميز التصميم المقترح بالاتصالات التكرارية المتسعة ذات الدقة المتعددة ويمكن دمجه بمرنة مع خلايا RNN متنوعة. بالإضافة إلى ذلك، يقلل DilatedRNN من عدد المعلمات اللازمة ويعزز كفاءة التدريب بشكل كبير، بينما يحقق أداءً مطابقًا لأفضل الأداء الحالي (حتى مع الخلايا القياسية لـ RNN) في المهام التي تتضمن ارتباطات طويلة الأمد جدًا. لتقديم تقدير نظري لمزايا البنية، نقدم قياسًا لقدرة الذاكرة وهو طول الاسترجاع المتوسط، والذي يعتبر أكثر ملاءمة للشبكات العصبية التكرارية ذات الاتصالات الطويلة من المقاييس الموجودة حاليًا. نثبت بصرامة مزايا DilatedRNN على الأطر الأخرى للشبكات العصبية التكرارية. الرمز البرمجي لطريقتنا متاح بشكل عام على الرابط https://github.com/code-terminator/DilatedRNN