الشبكات العصبية المتكررة والتنظيم

نقدم تقنية تسوية بسيطة للشبكات العصبية المتكررة (Recurrent Neural Networks - RNNs) التي تحتوي على وحدات الذاكرة قصيرة المدى طويلة الأمد (Long Short-Term Memory - LSTM). يعتبر التقنين (Dropout)، وهو أبرز تقنيات التسوية المستخدمة في الشبكات العصبية، غير فعال بشكل كبير مع الشبكات العصبية المتكررة ووحدات LSTM. في هذا البحث، نوضح كيفية تطبيق التقنين بشكل صحيح على وحدات LSTM، ونظهر أنه يقلل بشكل كبير من مشكلة التكيف الزائد (overfitting) في مجموعة متنوعة من المهام. تشمل هذه المهام نمذجة اللغة، وتعرف الكلام، وإنشاء عناوين الصور، والترجمة الآلية.